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Matriz Computations, Third Edition by Gene H. Golub, Charles F. Van Loan, 
ISBN 0-8018-5414-8. 

© 1983, 1989, 1996 The Johns Hopkins University Press. All rights reserved. 

This Chinese (simplified character) language edition published by arrangement 
with The Johns Hopkins University Press, Baltimore, Maryland. 


本 书 中 文 简体 字 版 由 约翰 - 霍 普 金 斯 大 学 出 版 社 授权 人 民 邮 电 出 版 社 独家 出 版 ， 
并 在 世界 范围 内 销售 . 本 书 任何 部 分 之 文字 及 图 片 , 未 经 出 版 者 书面 许可 , 不 得 用 
任何 方式 节录 或 翻印 . 

版 权 所 有 , 侵权 必 究 . 


译 者 序 


这 本 《矩阵 计算 》 是 数值 线性 代数 方面 最 权威、 最 全 面 的 专著 ， 已 经 成 为 计算 
数学 的 经 典 著作 之 一 . 该 书 英文 原著 最 早出 版 于 1983 4E, 1989 年 再 版 , 本 书 译 自 
1996 年 的 第 3 版 . 原著 作者 之 一 是 已 故 的 Gene H. Golub 教授 (1932—2007), 他 生 
前 是 美国 斯 坦 福 大 学 教授 , 美国 科学 院 院士 , 美国 工程 院 院士 , 国际 上 著名 的 计算 
数学 家 . Golub 先生 对 我 国 计 算 数学 的 发 展 十 分 关心 , 也 给 予 过 大 力 的 支持 和 帮助 . 
他 曾 多 次 来 访 中 国 , 特别 值得 提 到 的 是 , Golub 先生 于 2000 FA GERRIE) H 
中 译本 作 序 . 

该 书 的 翻译 是 由 我 和 我 们 所 的 三 位 研究 生 肥 家 旺 、 叶 军 涛 和 朱 宗 武 合作 于 1999 
年 完成 的 , 中 译本 于 2001 年 在 科学 出 版 社 出 版 . 该 中 译本 出 版 后 受到 广大 读者 的 
喜爱 , 不 少 高 校 将 该 书 选 为 教材 或 教学 参考 书 . 

2009 Æ, 人 民 邮 电 出 版 社 图 灵 公司 的 编辑 邀请 我 重新 翻译 《矩阵 计算 》 一 书 . 
征求 了 科学 出 版 社 同 意 后 , 我 在 2001 年 出 版 的 中 译本 基础 上 加 以 修订 , 由 人 民 邮 
电 出 版 社 重新 出 版 . 

在 修订 过 程 中 , 图 灵 公 司 的 编辑 进行 了 认真 细致 的 核对 工作 , 提出 了 不 少 很 好 
的 修改 意见 . 我 对 他 们 这 种 认真 负责 的 工作 态度 表示 敬意 , 也 对 其 提出 的 宝贵 意见 

我 相信 , 该 书 的 再 次 出 版 , 将 让 更 多 的 读者 , 特别 是 年 轻 的 读者 , 对 这 本 名 著 有 
所 认识 并 从 中 受益 , 这 将 对 我 国 计 算 数学 的 发 展 和 人 才 培 养 起 到 积极 的 作用 . 


中 译本 前 言 


我 很 高 兴 我 们 的 著作 被 译 成 中 文 出 版 . 计算 数学 在 当代 中 国正 有 着 很 大 的 发 
Fe. 这 些 成 就 是 在 已 故 的 冯 康 教授 的 领导 下 取得 的 , 他 的 工作 是 开创 性 的 , 为 这 一 
学 科 的 发 展播 下 了 种 子 . 数值 代数 至 关 重 要 , 毫 无 疑问 在 中 国 已 经 得 到 莲 勃 发 展 . 
中 国 高 等 院 校 坚 实 的 数学 训练 , 造就 了 许多 优秀 的 青年 数值 分 析 专 家 , 这 使 美国 和 
其 他 西方 国家 受益 菲 浅 

我 希望 中 译本 能 进一步 增强 中 国 读者 对 该 领域 的 兴趣 , 并 加 强 我 们 彼此 间 在 该 
领域 的 联系 与 合作 . 


Gene H. Golub 
2000.9.14 


第 3 版 前 言 


和 矩阵 计算 领域 在 不 断 发 展 和 成 熟 . 在 第 3 版 中 , 我 们 增加 了 300 多 篇 新 的 文献 
和 100 多 个 新 的 问题 . 对 LINPACK 和 EISPACK 的 引述 被 替换 为 相应 的 LAPACK 
重要 例 程 , 并 在 相应 章 首 列表 给 出 . 

在 第 1 版 和 第 2 版 中 , 我 们 列 出 了 少量 的 综合 性 参考 文献 : Wilkinson(1965)， 
Forsythe and Moler(1967), Stewart(1973), Hanson and Lawson(1974) 以 及 Parlett 
(1980). 这 些 著 作 在 研究 领域 仍然 重要 , 但 也 有 一 些 相当 好 的 新 教科 书 和 专著 . 见 之 
后 的 文献 介绍 . 

与 前 两 版 一 样 , 我 们 在 每 一 节 之 后 都 给 出 参考 文献 . 

前 两 个 版 本 有 许多 打印 错误 , 我 们 感谢 读者 向 我 们 指出 这 些 打印 错误 , 在 新 版 
PRIT FEREN. 

下 面 介绍 新 版 的 要 点 . 第 1 章 (矩阵 乘法 ) 和 第 6 3€ (并 行 矩 阵 计算 ) 彻底 重 
写 了 , 写作 没有 原来 那样 正式 . 我 们 认为 这 样 有 利于 培养 对 高 性 能 计算 的 直觉 , 将 
算法 与 实现 更 好 地 挂钩 ， 

在 第 2 章 (矩阵 分 析 ), 我 们 扩充 了 CS 分 解 的 处 理 并 增加 了 一 个 证 明 . 按 最 新 
的 发 展 状态 , 更 新 了 浮 点 数 运算 的 内 容 . 在 第 4 章 (特殊 线性 方程 组 )Toeplitz FEM 
那 一 节 , 我 们 添加 了 与 循环 矩阵 的 关系 以 及 快速 储 里 叶 变 换 . 在 讨论 非 定 方程 组 时 
增加 了 关于 平衡 方程 组 的 一 节 . 

第 5 章 ( 正 交 化 和 最 小 二 乘法 ) 给 出 了 修正 Gram-Schmidt 方法 的 更 精确 的 描 
述 . 第 8 3€ (对 称 特征 值 问题 ) 很 大 程度 上 进行 了 重 写 及 重组 , 以 便 尽 可 能 减少 它 
对 第 7 章 ( 非 对 称 特征 值 问题 ) 的 依赖 . 事实 上 , 现在 这 两 章 的 关系 已 经 小 到 可 以 
随意 先 读 其 中 之 一 . 

第 9 章 (Lanczos 方法 ) 扩展 了 对 非 对 称 Lanczos 方法 以 及 Arnoldi RN 
16. 第 10 章 (线性 方程 组 的 迭代 解法 ) H “AERA” RE 76 T eT, 讨 
论 各 种 Krylov 子 空间 方法 , 这 些 方法 可 用 来 处 理 稀疏 非 对 称 线性 方程 组 求解 . 

在 12.5 节 (修正 正 交 分 解 ) 我 们 增加 了 关于 ULV 修正 的 一 节 . 在 12.6 节 中 讨 
论 了 Toeplitz 矩阵 特征 值 问 题 和 正 交 甜 阵 特 征 值 问题 . 

我 们 两 人 期 待 着 与 读者 们 继续 对 话 ， 正 如 我 们 在 第 2 版 前 言 中 所 说 :“ 与 如 此 
有 趣 的 和 友好 的 读者 打交道 是 很 愉快 的 .” 


2 第 3 版 前 言 


许多 人 对 第 3 版 提出 了 有 价值 的 建议 . 特别 要 致谢 的 有 Greg Ammar, Mike 
Heath, Nick Trefethen 和 Steve Vavasis. 

最 后 , 我 们 想 感 谢 康 奈 尔 大 学 的 Cindy Robinson. 一 个 专业 的 助手 是 非常 重 
要 的 . 
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LAPACK 


书 中 的 许多 算法 都 在 LAPACK 软件 包 中 实现 : 

E. Anderson, Z. Bai, C. Bischof, J. Demmel, J. Dongarra, J. DuGroz, A. Green- 
baum, S. Hammarling, A. McKenney, S. Ostrouchov, and D. Sorensen(1995). LA- 
PACK Users’ Guide, Release 2.0, 2nd ed., SIAM Publications, Philadelphia. 

这 个 软件 包 中 一 些 重要 例 程 之 索引 在 下 面 几 章 的 开头 列 出 : 

第 1 章 1 级 ,2 级 ,3 级 BLAS 

第 3 章 一 般 线性 方程 组 

第 4 章 特殊 线性 方程 组 

第 5 章 正 交 化 和 最 小 二 乘法 

第 7 章 非 对 称 特征 值 问题 

第 8 章 对 称 特征 值 问题 

我 们 关于 LAPACK 的 介绍 不 够 详细 , 但 应 该 能 够 “让 你 入 门 ”. 所 以 , 当 我 们 
说 .TRSV 可 用 来 解 三 角 方程 组 Ax = b, 就 是 请 你 通过 LAPACK 手册 去 发 现 A 可 以 
是 上 三 角形 的 或 下 三 角形 的 , 而 且 也 可 处 理 转 置 方程 组 Ax = b. 还 有 , 下 划 线 是 
计算 类 型 ( 单 精度 、 双 精度 、 复 数 等 ) 的 标识 . 

LAPACK 是 基于 其 他 两 个 在 软件 开发 史上 有 划时代 意义 的 软件 包 而 开发 的 . 
EISPACK 是 20 世纪 70 年 代 初 期 开发 的 , 它 用 于 求解 对 称 、 非 对 称 及 一 般 特征 值 
问题 . 

B. T. Smith, J. M. Boyle, Y. Ikebe, V. C. Klema, and C. B. Moler(1970). Matrix 
Eigensystem Routines: Eispack Guide, 2nd ed., Lecture Notes in Computer Science, 
Volume 6, Springer-Verlag, New York. 

B. S. Garbow, J. M. Boyle, J. J. Dongarra, and C. B. Moler(1972). Matriz 
Eigensystem Routines: Eispack Guide Extension, Lecture Notes in Computer Science, 
Volume 51, Springer-Verlag, New York. 

LINPACK 是 20 世纪 70 年 代 后 期 开发 的 求解 线性 方程 组 和 最 小 二 乘法 问题 
的 软件 包 . 

EISPACK 和 LINPACK 基于 一 批 关于 主要 的 矩阵 分 解 之 Algol 实现 的 文章 . 
这 些 文章 收集 在 : 


2 软 件 


J. H. Wilkinson and C. Reinsch, eds. {1971). Handbook for Automatic Compu- 
tation, Vol 2., Linear Algebra, Springer-Verlag, New York. 


NETLIB 


许多 软件 , 包括 LAPACK, EISPACK 和 LINPACK 都 可 通过 Netlib 从 网 上 得 
到 : 
www: http://www.netlib.org/index.html 
ftp: ftp://ftp.netlib.org 
也 可 通过 E-mail 发 一 行 消息 至 : 
mail netlib@ornl.gov 


send index 


来 了 解 软件 . 


MATLAB 


MATLAB 实现 了 LAPACK 并 且 给 出 了 很 流行 的 矩阵 计算 平台: 

MATLAB User’s Guide, The Math Works Inc., Natick, Massachusetts. 

M. Marcus (1993). Matrices and MATLAB: A Tutorial, Prentice Hall, Upper 
Saddle River, NJ. 

R. Pratap (1995). Getting Started with MATLAB, Saunders College Publishing, 
Fort Worth, TX. 

本 书 中 的 许多 习题 最 好 在 布置 给 学 生 时 要 求 使 用 MATLAB 解 答 . 在 描述 算法 
时 , 我 们 广泛 应 用 MATLAB 记号 . 


精 选 参考 文献 


书 中 每 一 节 都 以 带 注释 的 参考 文献 结束 ， 以 下 列 出 的 参考 书 总 体 覆 盖 了 这 个 
领域 . 引用 文献 按 以 下 方式 分 类 : 
1970 年 之 前 的 经 典 著 作 。 ”开拓 该 领域 的 早期 著作 


概论 入 门 适合 于 本 科 生 课堂 学 习 
高 级 概论 最 好 给 实习 者 和 研究 生 
分 析 数学 基础 
线性 方程 组 问题 Az=b 
线性 拟 合 问题 Az =b 
特征 值 问题 Az = dx 
高 性 能 计算 并 行 /向 量 问题 
文集 有 用 的 专题 文集 
在 每 一 类 中 都 按 出 版 年 代为 序 排列 . 

1970 年 之 前 的 经 典 著 作 


V. N. Faddeeva(1959). Computational Methods of Linear Algebra, Dover, New York. 

E. Bodewig(1959). Matriz Calculus, North Holland, Amsterdam. 

R. S. Varga (1962). Matrix Iterative Analysis, Prentice-Hall, Englewood Cliffs, NJ. 

J. H. Wilkinson (1963). Rounding Errors in Algebraic Processes, Prentice-Hall, En- 
glewood Cliffs, NJ. 

A. S. Householder (1964). Theory of Matrices in Numerical Analysis, Blaisdell, New 
York. Reprinted in 1974 by Dover, New York. 

L. Fox(1964). An Introduction to Numerical Linear Algebra, Oxford University Press, 
Oxford, England. 

J. H. Wilkinson(1965). The Algebraic Eigenvalue Problem, Clarendon Press, Oxford, 
England. . 

G. E. Forsythe and C. Moler(1967). Computer Solution of Linear Algebraic Systems, 
Prentice-Hall, Englewood Cliffs, NJ. 

| MAT 

A. R. Gourlay and G. A. Watson (1973). Computational Methods for Matrix Eigen- 

problems, John Wiley & Sons, New York. 


2 精 选 参考 文献 


G. W. Stewart(1973). Introduction to Matrix Computations, Academic Press, New 
York. 

R. J. Goult, R. F. Hoskins, J. A. Milner and M. J. Pratt (1974). Computational 
Methods in Linear Algebra, John Wiley and Sons, New York. 

T. F. Coleman and C. F. Van Loan(1988). Handbook for Matriz Computations, SIAM 
Publications, Philadelphia, PA. 

W. W. Hager(1988). Applied Numerical Linear Algebra, Prentice-Hall, Englewood 
Cliffs, NJ. 

P. G. Ciarlet (1989). Introduction to Numerical Linear Algebra and Optimisation, 
Cambridge University Press. 

D. S. Watkins (1991). Fundamentals of Matriz Computations, John Wiley and Sons, 
New York. 

P. Gill, W. Murray, and M. H. Wright (1891). Numerical Linear Algebra and Opti- 
mization, Vol. 1, Addison-Wesley, Reading, MA. 

A. Jennings and J. J. McKeowen(1992). Matriz Computation(2nd ed), John Wiley 
and Sons, New York. 

B. N. Datta(1995). Numerical Linear Algebra and Applications. Brooks/Cole Pub- 
lishing Company, Pacific Grove, California. 

M. T. Heath (1997). Scientific Computing: An Introductory Survey, McGraw-Hill, 
New York. 

C. F. Van Loan(1997). Introduction to Scientific Computing: A Matrix- Vector Ap- 
proach Using Matlab, Prentice Hall, Upper Saddle River, NJ. 


高 级 概论 


N. J. Higham(1996). Accuracy and Stability of Numerical Algorithms, SIAM Publi- 
cations, Philadelphia, PA. 

J. W. Demmel(1996). Numerical Linear Algebra, SIAM Publications, Philadelphia, 
PA. 

L. N. Trefethen and D. Bau TH (1997). Numerical Linear Algebra, SIAM Publica- 
tions, Philadelphia, PA. 


分 析 


F. R. Gantmacher(1959). The Theory of Matrices Vol. 1, Chelsea, New York. 
F. R. Gantmacher(1959). The Theory of Matrices Vol. 2, Chelsea, New York. 
A. Berman and R. J. Plemmons(1979). Nonnegative Matrices in the Mathematical 


精 选 参 者 文献 3 


Sciences, Academic Press, New York. Reprinted with additions in 1994 by SIAM 
Publications, Philadelphia, PA. 

G. W. Stewart and J. Sun(1990). Matrix Perturbation Theory, Academic Press, San 
Diego. 

R. Horn and C. Johnson(1985). Matrix Analysis, Cambridge University Press, New 
York. 

R. Horn and C. Johnson(1991). Topics in Matriz Analysis, Cambridge University 
Press, New York. 


线性 方程 组 问题 


D. M. Young (1971). Iterative Solution of Large Linear Systems, Academic Press, 
New York. 

L. A. Hageman and D. M. Young(1981). Applied Iterative Methods, Academic Press, 
New York. 

A. George and J. W-H. Liu(1981). Computer Solution of Large Sparse Positive Def- 
inite Systems. Prentice-Hall Inc., Englewood Cliffs, New Jersey. 

S. Pissanetsky(1984). Sparse Matriz Technology, Academic Press, New York. 

I. S. Duff, A. M. Erisman, and J. K. Reid(1986). Direct Methods for Sparse Matrices, 
Oxford University Press, New York. 

R. Barrett, M. Berry, T. F. Chan, J. Demmel, J. Donato, J. Dongarra, V. Ei- 
jkhout, R. Pozo, C. Romine, H. van der Vorst(1993). Templates for the Solution 
of Linear Systems: Building Blocks for Iterative Methods, SIAM Publications, 
Philadelphia, PA. 

W. Hackbusch (1994). Iterative Solution of Large Sparse Systems of Equations, 
Springer-Verlag, New York. 

O. Axelsson(1994). Iterative Solution Methods, Cambridge University Press. 

Y. Saad(1996). Iterative Methods for Sparse Linear Systems, PWS Publishing Co., 


Boston. 
线性 拟 合 问题 


C. L. Lawson and R. J. Hanson(1974). Solving Least Squares Problems, Prentice- 
Hall, Englewood, Cliffs, NJ.Reprinted with a detailed“new developments ” appen- 
dix in 1996 by SIAM Publications, Philadelphia, PA. 

R. W. Farebrother(1987). Linear Least Squares Computations, Marcel Dekker, New 
York. 


4 精 选 参考 文献 


S. Van Huffel and J. Vandewalle(1991). The Total Least Squares Problem: Computa- 
tional Aspects and Analysis, SIAM Publications, Philadelphia, PA. 

A. Bjórck(1996). Numerical Methods for Least Squares Problems, SIAM Publica- 
tions, Philadelphia, PA. 


特征 值 问题 


B. N. Parlett(1980). The Symmetric Bigenvalue Problem, Prentice-Hall, Englewood 
Cliffs, NJ. 

J. Cullum and R. A. Willoughby(1985a). Lanczos Algorithms for Large Symmetric 
Eigenvalue Computations, Vol. I Theory, Birkhaiiser, Boston. 

J. Cullum and R. A. Willoughby(1985b). Lanczos Algorithms for Large Symmetric 
Eigenvalue Computations, Vol. II Programs, Birkhaüser, Boston. 

Y. Saad(1992). Numerical Methods for Large Eigenvalue Problems: Theory and 
Algorithms, John Wiley and Sons, New York. 
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第 1 章 矩阵 乘法 


研究 矩阵 计算 的 合适 出 发 点 是 矩阵 与 矩阵 的 乘法 ， 这 一 问题 在 数学 上 虽然 简 
单 , 但 从 计算 上 来 看 却 是 十 分 丰富 的 . 在 1.1 节 中 , 我 们 将 看 到 矩阵 相 乘 可 以 有 好 
几 种 不 同 的 形式 . 还 将 引入 矩阵 划分 的 概念 , 并 将 其 用 来 刻画 计算 上 的 几 种 线性 代 
数 的 “级 ”. 

如 果 一 个 矩阵 具有 某 种 结构 , 则 它 常常 可 加 以 利用 . 例如 , 一 个 对 称 矩 阵 只 需 
一 个 一 般 失 阵 的 一 半空 间 即 可 储存 ， 在 矩阵 乘 向 量 中 , 如 果 矩 阵 中 有 许多 零 元 素 ， 
则 可 减少 许多 计算 时 间 . 这 些 问 题 将 在 1.2 节 中 讨论 . 

在 1.3 节 中 定义 了 分 块 矩 阵 记 号 . 分 块 矩阵 是 一 个 以 挎 阵 为 元 素 的 矩阵 . 这 一 
概念 无 论 是 在 理论 上 还 是 在 实践 中 都 是 十 分 重要 的 . 在 理论 方面 , 分 块 矩 阵 记号 使 
得 重要 的 矩阵 分 解 的 证 明 十 分 简洁 . 这 些 分 解 是 数值 线性 代数 的 基石 . 从 计算 的 角 
度 看 , 分 块 算法 中 含有 大 量 的 高 性 能 计算 机 结构 所 擅长 的 矩阵 运算 , 因而 在 矩阵 乘 
法 中 是 重要 的 . 

这 些 新 的 结构 要 求 算法 设计 者 对 流量 与 实际 的 计算 量 同 等 重视 . 科学 计算 的 这 
一 特性 在 1.4 节 中 阐明 . 在 该 节 还 将 讨论 向 量 流水 线 计算 的 重要 因素 : 间 、 向 量 长 
度 、 向 量 存 取 的 次 数 和 向 量 再 利用 的 程度 . 


预备 知识 

熟悉 MATLAB 语 言 是 重要 的 , 可 参阅 Pratap(1995) 和 Van Loan(1996) 的 教材 . 
更 多 介绍 高 性 能 矩阵 计算 的 一 本 入 门 书 是 Dongarra, Duff, Sorensen, and Vorst(1991). 
本 章 中 与 LAPACK 相关 的 例 程 如 下 . 


LAPACK: 一 些 一 般 运 算 


€ — oc 
pc æy 
ycoaon+y 


标量 与 向 量 相 乘 
点 积 


_GEMV y — aAg+ By ABEE 55 [6] EHR 
E A — A-+aary™ fk 1 修正 
C~aAB+ 8C 矩阵 相 乘 


LAPACK: 一 些 对 称 运算 


E y — aAn-+ By EP- p EE 
SPMV y — oÀm + By HERE- [6] BAe 
_SYR A — oma +A #1 BE 
SYR2 A — agy? +ayazT +A Fk 2 修正 
_SYRK C — o AAT 4 8C fk k 修正 
C — «ABT +aBAT 4 pc fk 2k 修正 


C — oAB + BCR(aBA+ BC) 对 称 / 一 般 乘 积 
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LAPACK: 一 些 带 状 / 三 角 运 算 
y — aAr + By 


一 般 带 状 


SBMV y — a Am + By 对 称 带 状 
TBMV TaAr 三 角形 
_TPMV aAr 三 角形 GWA) 


B+ o AB(K&BA) 三 角形 /一 般 乘 积 


1.1 基本 算法 与 记号 


和 矩阵 计算 是 基于 线性 代数 运算 的 . 点 积 运算 包括 标量 的 加 法 和 乘法 . 矩阵 向 量 
相 乘 由 点 积 组 成 , 矩阵 与 矩阵 相 乘 相当 于 一 系列 的 矩阵 向 量 相 乘 . 所 有 这 些 运算 都 
可 以 用 算法 形式 或 者 用 线性 代数 的 语言 来 描述 . 这 一 节 的 主要 任务 是 说 明 这 两 种 
表达 方式 如 何 互补 . 我 们 将 逐步 引入 一 些 记号 并 且 让 读者 熟悉 矩阵 计算 领域 最 根本 
的 思维 方式 . 讨论 将 围绕 着 矩阵 相 鳞 , 这 种 计算 有 几 种 不 同 的 形式 . 


1.1.1 RRS 
4 R 表示 实数 集合 , R™x" 表示 所 有 m 行 列 和 矩阵 组 成 的 向 量 空间 : 


Qi ^-^" Ajn 


A € R?"*" & A — (ai;) = ) aij € IR. 


ami co mn 
如 果 一 个 大 写字 母 (如 A, B, A) 表示 一 个 矩阵 , 则 带 下 标 ij 的 对 应 的 小 写字 母 (如 
aij, bij, 01) 表示 矩阵 在 (i, 7) 的 元 素 . 适当 时 , 我 们 也 用 [A]; 和 AG, j) RETR EE 
元 素 . 
1.1.2 EREA 
基本 和 窍 阵 运 算 包 括 转 置 (R™*" 一 R"), 

C = AT > cj = Gji; 

相 加 (Rm™x" e RM ROM), 
C = A + B > cij = Qij + bij; 

+E 5 HRA (R x R™"  R™”), 

C = aA > cij = aai; 


JE 5 4E AR (R™*?P x R?X^ 一 gmxn), 
C = AB 一 Cij = M airbrj; 
k=1 


HCH RABE Na. 
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113 ”向 量 记号 
令 R” 表示 n 维 实 向 量 空间 ; 


rcemR"or- r ER. 


Tn 
我 们 记 x; 为 x 的 第 i 个 分 量 . 根据 文中 需要 , 我 们 有 时 也 用 [x]; 和 z(i) 表示 z. 

注意 到 R^ 等 于 R”, 所 以 R" 中 的 元 素 是 列 向 量 . BH, R” 中 的 元 素 
是 行 向 量 : 

g €RU"emg-(m, ,Tn). 

WR z 是 一 个 列 向 量 , M y = zT 是 行 向 量 . 
11.4 BAZ% 

假定 acR ccR* 和 y e R". HAARAA Eh HER, 


z =at > zi = üti; 


向 量 加 法 ， 
. z =@£+y > ži = Ti + yi; 
点 积 (或 称 内 积 ): a 
c= aly => c= So ziyi; 
i=l 
向 量 相 来 (或 称 Hadamard), 


ZzZ= 2.*Y > ži = Tiyi. 
另 一 个 非常 重要 的 运算 是 saxpy, 它 具 有 修正 形式 ; 
Y=ar+y Y= azti + Yi- 
这 里 , 符号 “=” 用 来 表示 赋值 而 不 是 数学 上 的 等 号 . 此 运算 修正 向 量 y, CHAR 
saxpy 是 在 LAPACK 中 所 用 的 . LAPACK 是 一 个 实现 了 本 书 中 许多 算法 的 软件 包 . 
saxpy 是 标量 a FÈ x 加 y(scalar a z plus y) 的 缩写 . 


1.1.5 ”点 积 和 saxpy 计算 


我 们 用 MATLAB 语 言 的 形式 来 描述 算法 , MATLAB 是 一 种 对 矩阵 计算 非常 理想 
的 有 效 的 交互 系统 . 在 这 一 章 我 们 将 逐步 引入 MATLAB 的 记号 , 首先 我 们 给 出 一 个 
计算 点 积 的 算法 . 
算法 1.1.1( 点 积 ) ”如 果 Zz,y € R^, 此 算法 计算 点 积 c= zT y. 
c=0 
fori=1:n 
c=c+ a(i)y(i) 


end 
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两 个 n 维 向 量 的 点 积 涉及 n 次 乘法 和 nm 次 加 法 ， 所 以 它 是 O(n) 运算 , 即 工 作 
量 是 维 数 的 线性 函数 .saxpy 也 是 O(n) 运算 , 但 它 的 返回 值 是 一 个 向 量 而 不 是 标 
量 . 
算法 1.1.2(saxpy) ”给 定 z,ycR?feacR, 此 算法 用 az 十 yy AS y. 
for i=1:n 
y(i) = az(i) + y(i) 
end 


必须 强调 的 是 , 本 书 所 给 出 的 算法 是 关键 的 计算 思想 的 框架 而 不 是 成 品 代码 . 
1.1.6 ”和 矩阵 与 向 量 相 乘 和 gaxpy 


假定 A cR” 2 CR” Al yc R™, 我 们 需要 计算 
y = Ax +y. 
这 是 广义 的 saxpy 运算 , 称 之 为 gaxpy. 此 计算 的 常规 方式 是 每 次 修正 一 个 分 量 , 即 


Yi =J aijzj + yi, t=1:m. 
j=l 


这 就 是 如 下 的 算法 : 
算法 1.1.3(gaxpy: 行 型 ) B® A € R", cc R fry eR”, 本 算法 用 
Arty && y. 
fori=1:m 
for j=1:n 
y(i) = AG, j)x(7) + y(i) 
end 
end 


Az 可 表示 为 A 的 列 向 量 的 线性 组 合 , 如 


1 2 ; 1x742x8 1 2 23 
3 4 HE 3x744x8|—7|3]|-8|]4|- | 53 
5 6 5x7+6x8 5 6 83 


这 一 计算 方式 导致 如 下 算法 . 
算法 1.1.4(gaxpy: WH) ik A € R”, x c R fey c R".. 本 算法 用 
Az y REY. 
for j=1:n 
fori—l:m 
y(t) = Ali, )2(9) + yli) 
end 


end 
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注意 到 这 两 个 gaxpy 算法 的 内 层 循环 都 是 saxpy 运算 . 列 型 的 算法 是 从 向 量 
层次 重新 理解 矩阵 与 向 量 相 乘 所 导出 的 , 它 也 可 从 行 型 算法 简单 地 交换 循环 顺序 而 
得 到 . 在 矩阵 计算 中 , 将 循环 顺序 的 交换 与 对 应 的 线性 代数 联系 起 来 是 重要 的 . 
1.1.7 ”和 矩阵 划分 成 行 和 列 

算法 1.1.3 和 算法 1.1.4 分 别 按 行 和 按 列 用 4 的 数据 . 为 了 更 清楚 地 说 明 这 一 
点 , RISA ERDER. 

从 行 来 看 , 一 个 矩阵 是 由 行 向 量 堆 成 的 : 


ri 
Dopo Te ER”. (1.1.1) 


T 


AER™" SBS A= 


T 


这 称 之 为 4 的 行 划分 . 所 以 , 当 我 们 行 划分 


1 2 
3 4 
5 6 

时 , 我 们 就 把 A 看 成 是 由 行 向 基 

ri-[ 2, r= 4], 和 = 区 6 
组 成 的 . 利用 行 划分 (1.1.1), 算法 1.1.3 可 表示 成 
for i=1i:m 
yi — riz-cy() 


end 


另 一 方面 , SHR PHI Ba: 
AER™*" & A= [|c1, , Cn], cr € R”. (1.1.2) 


我 们 把 这 称 为 A 的 列 划 分 . 在 上 面 的 3 x 2 的 例子 中 , e 和 cz 就 分 别 是 4 的 第 
一 列 和 第 二 列 : 


1 2 
€17—| 3], c=] 4]. 
5 6 
利用 (1.1.2), 我 们 看 到 算法 1.1.4 是 一 个 用 到 A 的 列 向 量 的 saxpy 
for j=1:n 
y = Tjej ty 
end 


在 此 , y 可 看 成 重复 saxpy 修正 的 向 量 连续 求 和 . 
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11.8 ”冒号 记号 
表示 和 矩阵 的 一 行 或 一 列 的 一 种 简便 方式 是 “冒号 ”记号 . 如 果 A e R™”, 则 
A(k,:) 表示 A IUS k fT, 即 
A(k, 3 = (axa, Us , kn]. 


Qik 
A(:, k) = : 


第 上 列表 示 为 


amk 
有 了 这 些 常规 的 记号 , 我 们 可 将 算法 1.1.3 和 算法 1.1.4 分 别 改写 成 
fori=l:m 


y(i) = Ali,:)z + y(i) 


end 
和 
for j=1:n 
y-z(j)A(G.3) +Y 
end 
利用 冒号 记号 , 我 们 可 省 略 迁 代 细节 . 因而 我 们 可 从 向 量 层次 来 考虑 并 且 把 注意 力 
集中 在 大 的 计算 问题 上 . 


1.1.9 ”外 积 修正 
作为 冒号 记号 的 初步 应 用 , 我 们 用 它 来 了 解 外 积 修正 
A=At+ay’, AER™", gcR", yeR”. 


外 积 算 子 ay? HPT “AK” SRO ALARE”. 但 它 是 完全 合法 
的 , 因为 左边 矩阵 = 的 列 数 与 右边 矩阵 yT 的 行 数 相等 . 例如 


1 4 5 
2|4 5=] 8 10 
3 12 15 
外 积 修正 的 元 素 可 表述 为 


for i=1:m 
for 7=1:n 
Qij = Qij + Tiyj 
end 
end 
对 了 的 循环 是 将 yT 的 倍数 加 到 A 的 第 i 行 , 即 


fori=1:m 


Ali, :) = Ali, :) + x(i)yT 
end 
另 一 方面 , 如 果 我 们 把 对 i 的 循环 换 成 内 循环 , 则 是 将 x 的 倍数 加 到 4 的 第 7 
Bi: 
for j=1:n 
Al, j) = AC. 3) + yG) 
end 
注意 这 两 个 外 积 修正 算法 都 是 由 一 组 saxpy 修正 所 组 成 的 . 
1.1.10 36M 555 


考虑 2 x 2 矩阵 与 矩阵 相 乘 AB. 在 点 积 形式 下 , 每 个 元 素 都 可 按 点 积 计算 : 
1 2 5 6l [1x542x7 1x642x8 
3 4 7 8| |3x54+4x7 3x6+4x8 |. 
在 saxpy 形式 下 , 乘积 的 每 列 可 看 成 是 4 之 列 的 线性 组 合 : 


HI ul 


最 后 , 在 外 积 形式 下 , 矩阵 相 乘 可 看 成 是 一 组 外 积 之 和 


pEi eiles 
3 4 7 8 3 4 

这 几 种 矩阵 相 乘 的 形式 虽然 在 数学 上 等 价 , 但 由 于 流量 的 不 同 , 在 计算 上 的 表 
现 可 能 是 不 同 的 . 这 一 点 将 在 1.4 节 中 进一步 讨论 . 现在 , 我 们 详细 给 出 矩阵 相 乘 
的 上 述 3 种 形式 , 这 将 有 助 于 我 们 加 深 对 冒号 记号 概念 的 理解 以 及 习惯 从 不 同 线 
性 代数 的 层次 上 来 思考 . 
1.1.11 标量 描述 

为 讨论 集中 , 我 们 考虑 如 下 矩阵 相 乘 的 修正 公式 : 

C=AB+C, AeER™?, BER, CeR™". 

首先 是 熟悉 的 三 层 循环 算法 : 

算法 1.1.5 (矩阵 乘法 : ijk 形式 ) ”给 出 ACR™*?, B € R?*? fa C € R™*", 
本 算法 用 AB+C RAC. 


fori=1:m 


for j=1:n 
for k=1:p 
C(i, j) = A(t, k) B(k, j) + CG, j) 


end 


end 
由 于 我 们 把 C( 以 及 A) 的 行 标 为 i, CUR B) 的 列 标 为 j, 求 和 的 下 标记 为 
k, 所 以 这 是 一 个 ijk 形式 . 
我 们 考虑 修正 公式 C = AB + C 而 不 是 C = AB 有 两 个 理由 : 一 是 不 必 费 
心 考虑 C = 0 的 初始 化 ; 二 是 在 实际 中 C = AB+C 出 现 得 更 频繁 . 
和 抑 阵 相 乘 的 修正 中 3 个 求 和 循环 可 任意 排序 , 从 而 一 共有 31-6 种 形式 . 所 以 ， 
for 7=1:n 
fork=1:p 
forií—-1:m 
C(i, j) = AG, kK) B(k, j) + CU, i) 
end 
end 
end 
是 jki 形式 . 这 6 种 可 能 性 (ijk, jik, ikj, jki, kij, 的 任何 一 个 都 对 应 一 内 层 特 
环 运算 (点 积 或 saxpy), 而 且 具 有 自己 的 数据 流动 模式 ， 例 如 , 在 ijk BH, 内 层 
循环 是 点 积 , 数据 用 到 的 是 A 的 行 和 B 的 列 . 而 在 jki 形式 下 内 层 循环 是 saxpy, 
数据 用 到 的 是 C 的 列 和 A 的 列 . 这 些 性 质 以 及 把 中 层 循环 与 内 层 循 环 连 在 一 起 
考虑 是 代表 何 种 运算 都 归纳 在 表 1.1.1 中 . 每 种 形式 的 浮 点 运算 次 数 都 一 样 , 但 对 
A,B,C 数据 的 存 取 却 是 不 同 的 . 


表 1.1.1 EERE: 循环 排序 及 特性 


内 层 数据 存 取 
A 的 行 , B 的 列 


V] EL Se 


SERRE A 的 行 , B 的 列 
ikj saxpy 行 的 gaxpy B 的 行 , C 的 行 
jki saxpy 列 的 gaxpy A 的 列 , C 的 列 
kij saxpy 行 的 外 积 B iit, C 的 行 


列 的 外 积 A 的 列 , C 的 列 


1.1.12 ”点 积 形式 


通常 的 矩阵 乘法 过 程 把 AB 视 为 用 点 积 计算 的 数组 , 该 数组 可 按 从 左 到 右 , 从 
上 到 下 的 次 序 逐 个 计算 . 这 就 是 算法 1.1.5 所 用 到 的 思想 . 利用 冒号 记号 可 突显 其 

算法 1.1.6 GERRA: 点 积 形式 ) ”给 出 AcR™P, B eR?” fo C € Ron, 
本 算法 用 AB+C RAC. 


for 1=1:m 
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for j —1:n 
C(i, j) = A(5:)B(,3) + CU 3) 
end 


end 


利用 矩阵 划分 语言 , id 


则 算法 1.1.6 可 表示 为 
for i=1:m 
forj—1:n 
cij = a] bj + cij 
end 
end 
注意 到 7 循环 的 “任务 ”是 计算 修正 的 第 à 行 . 为 强调 这 一 点 , 可 写成 
for i=1:m 
cf =a] B +c] 
end 


这 里 


C= 


T 
m 


是 C 的 行 划分 . 用 冒号 记号 来 表示 这 同一 运算 , 可 写成 
for i=1:m 
C(i,:) = Ali,:)B + Ci,:) 
end . 
无 论 从 哪 种 形式 我 们 都 看 到 , ijk 形式 的 内 部 的 两 层 循环 定义 一 个 基于 行 的 gaxpy 
运算 . 
1.1.43 saxpy 形式 
假定 4 和 C 列 划分 为 
A = |a, ,ap], a; ER”, - 
C = [ei1,:…: , en], c; € R”. 
比较 C = AB +C 两 边 的 第 j 列 可 知 
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p 
cj = Ý dejan + Cj, goin. 
k=1 


这 些 向 量 求 和 可 通过 一 系列 saxpy 修正 (运算 ) 集中 起 来 . 
算法 1.1.7 (矩阵 乘法 ; saxpy 形式 ) ”给 出 ACR™?, Be RP*^, C e gm, 
本 算法 用 AB+C MBC. 
for j—1:n 
fork —1:p 
C(.j) = AG, k)B(k, j) + CC, 3) 
end 
end 
注意 到 k 循环 实质 上 是 gaxpy 运算 : 
forj—1:m 
C(,3) = ABC, j) + Cli) 
end 


1.1.14 ”外 积 形式 


考虑 算法 1.1.5 的 eji 形式 : 
fork —1:p | 
for j —1:m 
for i=1:m 
Cli, j) = A(t, k)B(k, j) + CG, 3) 
end 
end 


end 
内 部 的 两 层 循环 是 一 个 外 积 修正 
C=a,b, +C 
其 中 a, € R”, bs CR" H 


A=[ai,---,a)) 和 B=| : |. . (1.1.3) 


因而 , 我 们 得 到 如 下 算法 . 
算法 1.1.8 (矩阵 乘法 : 外 积 形式 ) ”给 出 A €E R™*?, B € RX” 和 CE R™", 
本 算法 用 ABiC ABC. 
for k —1:p 
C = A(, k) B(k,:) +C 
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end 


这 一 实现 方法 是 基于 AB 是 p 个 外 积 之 和 . 
1.1.15 “级 ”的 概念 


点 积 和 saxpy 运算 是 “1 级 ”运算 的 例子 . 1 级 运算 涉及 的 数据 量 和 运算 量 都 
是 运算 维 数 的 线性 函数 . m x n 的 外 积 修正 和 gaxpy 运算 涉及 二 次 数据 量 (O(mn)) 
和 二 次 运算 量 (O(mn)). 它们 是 “2 级 ”运算 的 例子 . 

矩阵 修正 公式 C = AB +C 是 “3 级 ”运算 . 3 级 运算 涉及 二 次 数据 量 和 三 次 
运算 量 , KA, BA CBE nxn MM, WW C = AB+C 需要 O(n?) AFA Oln’) 
运算 量 . 

本 书 中 一 个 反复 出 现 的 主题 是 设计 具有 高 “级 ”线性 代数 运算 的 矩阵 算法 . 例 
如 , 一 个 高 性 能 的 线性 方程 组 的 算法 可 能 需要 把 高 斯 消 元 法 在 3 级 上 来 组 织 . 要 做 
到 这 一 点 就 必须 在 运算 上 重新 考虑 , 因为 方法 通常 是 用 1 级 的 方式 给 出 的 , 例如 
“把 第 一 行 乘 以 一 个 标量 后 加 到 第 二 行 ”. 


1.1.16 ERA 
为 更 好 地 通过 外 积 来 理解 矩阵 乘法 , BUTT SEs Late TA 


p 
AB — M abk 
k=1 


其 中 a, 和 b, 是 由 (1.1.3) 中 划分 所 定义 的 . 

在 以 后 的 章节 中 , 大 量 的 矩阵 方程 会 出 现 . 有 时 它们 会 像 上 面 外 积 展开 一 样 以 
算法 形式 建立 , 有 时 它们 是 在 ij 元 素 这 个 层次 上 来 证 明 的 . 作为 后 者 的 一 个 例子 ， 
我 们 证 明 乘 积 转 置 的 性 质 这 一 重要 结果 . 

定理 1.1.1 ijt ACR™*? $ B eR, N) (AB)! = BT AT. 

证 明 令 C=(4B)", 则 


Cij = [(AB)"]i; = = [AB]; = Dab 
另 一 方面 , 设 D = BT AT, 则 
p 
dij = [BT AT]; = Y [BT] [AT]; = Yo 
k=1 


由 于 对 所 有 i 和; 都 有 ci; = di, BAC = D. 口 
像 上 面 这 样 的 基于 标量 的 证 明 常 常 没有 启发 性 , 但 有 时 却 是 唯一 的 方式 . 


1.1.17 SK 


有 时 我 们 要 讨论 复 矩 阵 的 计算 . m xn 复 矩 阵 的 向 量 空间 记 为 Cmn. BER 
的 标量 乘 、 相 加 、 相 乘 是 与 实 抢 阵 完全 相对 应 的 . 但 是 , 转 置 在 复 情 形 下 是 转 置 共 
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- Ks 


C = AË > Cij = 5%. 
n, 维 复 向 量 的 向 量 空间 记 为 C". n 维 复 向 量 x My 的 点 积 是 


s= aly = 2 Zivi. 
最 后 , 假定 4 = B+iC e Cmx", 则 我 们 把 4 的 实 部 与 虚 部 分 别 记 为 Re(4) = B 
和 Im(A) =C. 


j B 


i11 假定 AER" Ae eR’, 给 出 一 个 计算 M = (A-I) (A-r) 的 第 
一 列 的 saxpy 算法 . 

1.1.2 ”在 常规 的 2x2 矩阵 相 乘 C = AB 中 有 8 个 乘法 : 

@11611, 011012, @21611, @21612, 012021, 012022, 022021, 022522. 

对 ijk, jik, kij, ikj, jki 及 kji GRIER, 列表 给 出 这 些 乘 法 的 顺序 . 

1.1.3 ”给 出 一 个 计算 C = (sy) 的 算法 , 其 中 z My Bn 维 向 量 . 

1.1.4 ”描述 一 个 求 (XY) 的 算法 , 其 中 X,Y E 及 ">2. 

1.1.5 ”给 出 一 个 外 积 形式 的 算法 修正 C = ABT +C, 其 中 A eR”, Bem, 
CeR™**, 

1.1.6 ”假定 C, D, EA F ESE nxn KERE. 说 明 如 何 只 计算 三 次 实 的 nxn AR 
阵 乘法 就 可 求 出 实 的 nx n 矩阵 A 和 B, 使 得 (A +iB) = (C+iD)(E+iF). 提示 : 计算 
W =(C4+D)(E-~ F). 


本 节 注 释 与 参考 文献 


必须 强调 的 是 ,从 我 们 的 “ 半 正 式 ” 的 算法 描述 到 高 水 平 软 件 的 开发 仍 需 很 大 的 努力 .就 

连 1 级 ,2 级 和 3 级 的 BLAS 的 实现 也 要 做 精细 的 工作 . 

C. L. Lawson, R. J. Hanson, D. R. Kincaid, and F. T. Krogh(1979). “Basic Linear Algebra 
Subprograms for FORTRAN Usage,” ACM Trans. Math. Soft. 5, 308-323. 

C. L. Lawson, R. J. Hanson, D. R. Kincaid, and F. T. Krogh(1979). “Algorithm 539, Basic 
Linear Algebra Subprograms for FORTRAN Usage,” ACM Trans. Math. Soft. 5, 324- 
325. 

J. J. Dongarra, J. Du Croz, S. Hammarling, and R. J. Hanson(1988). “An Extended Set of 
Fortran Basic Linear Algebra Subprograms,” ACM Trans. Math. Soft. 14, 1-17. 

J. J. Dongarra, J. Du Croz, S. Hammarling, and R. J. Hanson(1988). “Algorithm 656 An 
Extended Set of Fortran Basic Linear Algebra Subprograms: Model Implementation and 
Test Programs,” ACM Trans. Math. Soft. 14, 18-32. 

J. J. Dongarra, J. Du Croz, I. S. Duff, and S. J. Hammarling(1990). “A Set of Level 3 Basic 
Linear Algebra Subprograms,” ACM Trans. Math. Soft. 16, 1-17. 


12 利用 结构 13 


J. J. Dongarra, J. Du Croz, I. S. Duff, and S. J. Hammarling(1990). “Algorithm 679. A 
Set. of Level 3 Basic Linear Algebra Subprograms: Model Implementation and Test 
Programs,” ACM Trans. Math. Soft. 16, 18-28. 

其 他 关于 BLAS 的 文献 包 插 如 下 . 

B. Kagstróm, P. Ling, and C. Van Loan(1991). “High-Performance Level-3 BLAS: Sample 
Routines for Double Precision Real Data,” in High Performance Computing II, M. Du- 
rand and F. El Dabaghi(eds), North-Holland. 269-281. 

B. Kagstrém, P. Ling and C. Van Loan(1995).“GEMM-Based Level-3 BLAS: High-Performa- 
nce Model Implementations and Performance Evaluation Benchmark," in Parallel Pro- 
gramming and Applications, P. Fritzon and L. Finmo(eds), ISO Press, 184-188. 
关于 软件 设计 技巧 的 论述 我 们 推荐 : 

J. R. Rice(1981). Matriz Computations and Mathematical Software, Academic Press, New 
York. l 
还 请 参阅 LAPACK 手册 . 


1.2 利用 结构 


一 个 给 定 的 矩阵 算法 的 效率 是 和 许多 东西 相关 的 . 最 明显 的 , 也 是 本 节 我 们 要 
考虑 的 , 是 运算 量 和 存储 量 . 我 们 继续 用 撼 阵 与 向 量 相 乘 以 及 矩阵 与 矩阵 相 乘 为 工 
具 来 介绍 主要 的 思想 . 作为 可 利用 的 结构 的 例子 , 我 们 挑选 了 带 状 矩阵 和 对 称 矩 阵 . 
带 状 矩 阵 有 许多 零 元 素 , 因而 在 带 状 和 矩阵 计算 中 可 省 去 许多 运算 量 和 存储 量 , 这 是 
不 足 为 奇 的 . 下 面 将 讨论 此 类 矩阵 计算 的 运算 复杂 度 和 数据 结构 , 

对 称 和 矩阵 提供 了 利用 结构 的 另 一 类 例子 ， 对 称 线性 方程 组 以 及 对 称 特征 值 问 
题 在 矩阵 计算 中 起 显著 作用 , 所 以 熟悉 它们 的 技巧 是 重要 的 . 


1.2.1 “ 带 状 矩阵 和 x-0 记号 


如 果 对 任何 ;> 7 +p 都 有 au; = 0, BUR A c R” 具有 下 带宽 p; 如 果 对 任何 
j>itq MS ag = 0, 则 称 4 具有 上 带宽 gq. 下面 是 一 个 具有 下 带宽 1 和 上 带宽 
2 的 8x5 FARE: 


oOo o 20 0 0 x x 
ooo o OC x x X 
ooo Of xX xxx 
oo ox xX XK xo 
CO Ox x x x OD 
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“x” 表 示 任 意 非 零 元 素 . 这 个 记号 表示 第 阵 的 非 零 结构 很 方便 , 我 们 会 大 量 使 用 ， 
常见 的 带 状 抢 阵 在 表 1.2.1 中 列 出 . 


表 1.2.1 mx n. 带 状 矩 阵 术 语 
矩阵 类 型 下 带 帘 

IY aE 0 
上 三 角形 矩阵 0 
FERRE rm 一 
三 对 角 和 矩阵 1 
0 

1 

1 


tr 


m 
FEF] orro | o|d 
a 


3 
m 


I faepe 

下 双 对 角 和 矩阵 

上 Hessenberg 和 矩阵 

下 Hessenberg 矩阵 m 


3 
= 


1.2.2 3 f85BME 
上 下 带宽 都 为 零 的 矩阵 是 对 角 和 矩阵 . 设 D cR" RON FARBE, 则 
D = diag(d;,---,d,), q = min{m, n} © d; = dii. 
Xt D BASE, 4 是 一 般 矩 阵 , 则 DA 是 4 的 行 加 权 , AD 是 A 的 列 加 权 . 
1.2.3 三 角形 和 矩阵 乘法 
为 引入 带 状 矩阵 “思维 ”, 我 们 考虑 矩阵 相 乘 问题 C = AB, 其 中 和 A4 和 B 都 
Æ nxn 上 三 角形 矩阵 . 3 x 3 的 情形 可 表示 为 


Qibit @11b12 + G12b22 @11b13 + 0Q12b23 + 413633 
C= 0 a22b22 022023 + a23b33 


0 0 033033 


从 上 可 知 , 乘积 是 上 三 角形 矩阵 , 而 且 在 上 三 角 的 元 素 是 简化 了 的 内 积 . 事实 上 , 对 
任何 上 cd BR jk 都 有 aab = 0, 我 们 可 看 到 


了 
cig = 》 aakBkj， 


k—i 
于 是 得 到 下 列 算法 . 
算法 1.2.1 (三 角形 矩阵 乘法 ) ”给 出 上 三 角形 答 阵 A B €R”, 本 算法 计 
算 C = AB. 
C=0 


for i=1:n 
for j=i:n 
for k=i:j 
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C(i, j) = Ali, k)B(k, j) + Ci, å) 
end 
end 
end 
为 量化 这 个 算法 节省 的 计算 量 , 我 们 需要 一 些 度量 计算 量 的 工具 . 
1.2.4 flop 


很 显然 , LEWER, 上 三 角形 矩阵 相 乘 所 需要 的 计算 量 要 小 . 量化 这 一 
点 的 方式 之 一 是 通过 flop 记号 . 一 个 flop? 就 是 一 个 浮 点 运算 . KEA n 的 内 积 或 
saxpy 运算 需要 2n 个 flop, 因为 它们 都 需要 ”次 乘法 和 n 次 加 法 . 

对 于 A E€ Rmxn, gaxpy 运算 y= Am +y flm x n 外 积 修正 A= Ax zyT 都 
需要 2mn 个 flop. 

对 于 A € R™?, BER” AC e R"*^, 矩阵 乘法 修正 C= AB - C 需要 
2mnp 个 flop. 

flop 数 通常 可 通过 将 算法 最 内 层 循环 的 运算 数 相 加 而 得 到 ， 以 年 阵 乘法 为 例 ， 
最 内 层 语句 是 

C(i, j) = Ali, k)B(k, j) + CU, 3), 

它 有 2 个 flop. 通过 简单 的 循环 计数 知 , 此 语句 要 执行 mnp 次 , 所 以 一 般 矩 阵 相 乘 
需要 2mnp 个 flop. 

现在 , 我 们 研究 算法 1.2.1 的 运算 量 . 注意 到 cij(i < 7) 需要 2(0 — i 1) 个 flop. 
利用 直观 公式 


? 
p-1 2 
q 3 2 3 
2,98 (98 ,9.,9 
LPs trte” D 
p-l 


RN RIVULÁAEABEEREIEZEWBEERXEN flop 数 的 六 分 之 一 : 
n n—-i+l ni 2 
六 》 20-i4+D- Y DE 2j x Yeu +1) 


i=1 j=i i=1 j=l =1 


= 3 S^ 
i=1 


$4183 TMH, 因为 它们 对 flop 数 影响 甚 微 . 例如 , 通过 精确 的 浮 点 数 统计 可 
发 现 算法 1.2.1 F n3/34+n2+2n/3 个 flop. 4n 很 大 时 (这 通常 是 我 们 感 兴趣 的 情 
JE), 我 们 看 到 , 精确 的 Bop 数 与 na/3 近似 估计 相 比 , 多 出 的 两 项 没有 实质 的 意义 . 
Q@ 在 本 书 第 1 版 中 , 我 们 定义 一 个 flop 是 与 形 如 aij = aij + aikgaki 的 运算 相关 的 工作 重 , 即 一 个 
浮 点 加 、 一 个 浮 点 乘 和 下 标 . 因此 “I 旧 flop” 包 含 两 个 “新 flop”. 把 fop 定义 为 单个 浮 点 运算 , 我 

们 能 得 到 算法 复杂 度 的 更 精确 的 度量 . 
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用 flop 数 来 衡量 程序 的 效率 必然 是 粗糙 的 , 因为 它 忽 略 了 下 标 和 流量 , 也 没 考 
虑 其 他 执行 程序 的 负荷 . 我 们 不 能 过 分 依赖 于 Bop 数 的 比较 . 例如 , 我 们 不 能 断定 
三 角形 矩阵 相 乘 要 比方 阵 相 乘 快 6 倍 . flop 数 只 是 一 个 “ 快 而 不 正当 ”的 评价 方法 ， 
它 仅 注意 到 影响 效率 的 多 个 因素 之 一 . 
1.2.5 “再 论 留 号 记号 


如 果 我 们 把 1.1.8 节 引 入 的 骨 号 记号 推广 , 则 算法 1.2.1 中 k 循环 的 点 积 可 简 
洁 地 叙述 . 假设 A e R™™*, 整数 og 和 r+ 满足 1<p<gsgsn 和 l<r<m. 我 们 
定义 
A(r,p : q) = arp, tt , rq] € Rix(-PtU, 
同样 , mMR1i<p<q<mMicccn M 


Ape 
A(p:qc)-—| : | € RC?" 


Age 


利用 这 个 记号 , 算法 1.2.1 可 写成 
C(1:n,1:n)-0 
fori= i:n 
for j—i:n 
Cli, j) = AG i: DBO: 5,9) + C63) 
end 


end 
我 们 给 出 冒号 记号 的 另 一 个 性 质 , 就 是 允许 下 标 负增长 . 所 以 , 如 果 My 是 
n 维 向 量 , 则 s = xzTy(m : -1:1) 代表 求 和 


s= 2 misi 
1.2.6 ” 带 状 矩阵 存储 


假定 Ac Rnxn 具有 下 带宽 p 和 上 带宽 q E. p Mg 远 小 于 n. 这 样 的 矩阵 可 
按 下 面 方式 储存 在 (p+q+1)xn 数组 A band, 即 对 所 有 位 于 带宽 之 内 的 (3): 
aij = A.band(i — j +q + 1,3). (1.2.1) 
所 以 , 如 果 


al 912 ag 0 0 0 


azl 032 423 024 0 0 


0 
0 0  a43 G44 G45 046 
0 
0 
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则 
O 0 3 424 035 Qa46 
A.band = 012 493 G34 G45 G56 
11 022 433 G44 G55 G66 
a21 32 G43 454 aes 0 
RE, "0" 元 素 是 用 不 着 的 , 利用 这 种 数据 结构 , 我 们 基于 列 的 gaxpy 算法 可 化 成 
如 下 形式 . 
算法 1.2.2 (HE gaxpy) HAER" 具有 下 带宽 D 和 上 带宽 g LMA 
在 A.band(1.2.1 节 ), do € x,y € R^, MARK Arty MS y. 
forj—1:n 
Ytop = max(l, j — q) 
Yoot = min(n, j +p) 
Atop = max(1,q + 2 — j) 
Abot = Atop + Ybot — Ytop 
y(Ytop : Ybot) = £(j)A-band (atop : abot, J) + Y(Ytop : Voot) 
end 
注意 到 把 A 核 列 储存 于 A band, 我 们 得 到 一 个 基于 列 的 saxpy 程序 . 事实 上 , 算法 
1.2.2 是 从 算法 1.1.4 中 把 每 个 saxpy 涉及 的 向 量 换 成 非 零 的 短 向 量 而 得 到 的 . 整数 
计算 用 于 确定 非 零 元 素 的 位 置 . 由 于 细致 地 进行 了 零 元 素 及 非 零 元 素 分 析 , 此 算法 
E p 和 远 小 于 m 的 假定 下 仅 需 2n(p-- q-- 1) 个 flop. 


1.2.7 “对 称 性 
如 果 A= AT, 我 们 说 A c R” 是 对 称 的 . 所 以 ， 
1 2 3 
A=|2 4 5 
3 5 6 


是 对 称 的 . 如 果 我 们 仅 储存 下 三 角 的 元 素 , 则 存储 量 可 减少 一 半 , 如 A.vec=[1 23 4 
5 6). 在 一 般 情 况 下 , 根据 此 约定 , 我 们 把 oi; 按 如 下 方式 储存 
aij = A.vec((j - 1)n — 3(j - 1)/2* i) ($2 J). (1.2.2) 

下 面 看 看 矩阵 A 储存 在 Avec 的 基于 列 的 gaxpy 运算 . 

算法 1.2.3 (对 称 储 存 gaxpy) W A € R^? 对 称 , 储存 于 A. vec( 见 (1.2.2))， 
sy € R^, 本 算法 用 Ar+y AB y. 

forj—1:n 

fori=1:j-—1 
y(i) = A.vec((i — Dn — i(i — 1)/2 + r) + y) 
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end 
fori—j:n 

yli) = A.vec((j — 1)n — 3G — 1)/2 + i)z(3) + yd) 
end 


很 别扭 的 下 标 . 
1 2 3 
A=|2 45], 
3 5 6 
按 对 角 储 存 则 把 A FT AE 
disk: = A.diag(i + nk — k(k —1)/2) (k > 0). (1.2.8) 


end 
此 算法 与 常规 的 gaxpy 一 样 需 要 2n? 个 flop. 值得 注意 的 是 减少 一 半 存 储 换 来 了 
1.2.8 text ia 
对 称 抢 阵 也 可 按 对 角 储存 . 对 于 
Adiag=[1 4 6 2 5 8. 
在 一 般 情 形 , Mi > i, 有 
为 简化 在 矩阵 乘 向 量 中 如 何 运 用 这 一 数据 结构 的 讨论 , 我 们 需 引 入 如 下 记号 . 
设 4eRmxn 用 D(A,k) CR™*" 表示 A 的 第 大 条 对 角 线 : 


az, J=itk, l<igm, 1&j&n, 


这 样 


D(A,2) D(A,1) 
100 0 0 0 0 0 0 
-104 01/412. 00;—-;,00 0 
0 0 6 0 5 0 3.00 
D(A,0) D(A,—1) D(A,—2) 


回 到 我 们 按 对 角 储 存 的 数据 结构 , 我 们 看 到 D(A, 0), D(A, 1),--- , D(4,n 一 1) 的 非 
零 部 分 是 依次 存 于 A.diag(1.2.3) 里 . 于 是 gaxpy 运算 y = Az +y 可 组 织 成 
n—-1 ' 
y = D(A,0)æ + Y (D(A, k) + D(A, k)™)æ + y. 
k=1 
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将 上 述 公式 的 细节 整理 即 得 到 如 下 算法 . 
算法 1.2.4 ( 按 对 角 储 存 的 gaxpy) i ACR” 对 称 , 储存 于 A.diag(1.2.3) 
€or,ycR^, 本 算法 用 4z y && y. 
for i=1:n 
y(i) = A.diag(i)z(i) + y(i) 
end 
for k=1:n-1 
t = nk — k(k — 1)/2 
(y = D(A, k)z + y) 
for i=1i:n—k 
y(i) = A.diag(i + t)z(i + k) + y(i) 
end 
(y = D(A, k)? 2 +y} 
for i—1:n-k 
yli + k) = A.diag(i + t)z(i) + y(i + k) 
end 
end 
注意 在 内 层 循环 是 向 量 相 乘 ， 
y(1: n — k) =A.diag(t +1:t+n—k).*2(k+1:n)+yQ:n—k) 
y(k - 1: n) —A.diag(t + 1:t - n — k).«z(1:n — k) - y(k E 1: n). 
1..9 ”覆盖 和 工作 空间 


上 述 讨 论 未 涉及 存储 的 经 济 使 用 .覆盖 输入 数据 是 控制 矩阵 计算 所 需 内 存量 
的 另 一 方法 . 考虑 n x n 矩阵 相 乘 问题 C = AB, 假定 “输入 矩阵 ”B 将 被 “输出 
矩阵 ”C Br Bite. 我 们 不 能 简单 地 将 

C(1:n,1:n)-—0 

for j—1:n 

for k—i:n 
C(,3) = CC, j) + Al, E) B(k. j) 
end 

end 
改 成 

forj—1:n 

for k=1:n 
B(:, j) = BC, j) + A( k)B(k, j) 


end 
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end 
这 是 因为 B(.j) 在 整个 循环 中 都 要 用 到 . 需要 一 个 线性 的 “工作 空间 ”来 暂 存 
乘积 的 第 j 列 直 到 可 以 “安全 ”地 覆盖 Bj): 
for j=1:n 
w(1:n)-0 
fork —1:n 
w(:) = w(:) + A(:, k) B(k, j) 
end 


Be, j) = w() 
end 


增加 一 个 线性 工作 空间 在 同 阶 的 2 维 数组 的 矩阵 计算 中 常常 是 无 足 轻重 的 . 
3 HH 


1.23.13 ”给 出 一 个 用 A? 覆盖 A 的 算法 , 其 中 A cR” 是 (a) 上 三 角形 矩阵 ,(b) 方 阵 . 
在 两 种 情形 下 都 尽 可 能 少 地 用 工作 空间 

1.2.2 ”假定 A c R^*^ 是 上 Hessenberg 矩阵 以 及 和 ,''，' Ar 是 给 定 的 标量 . 请 给 出 计 
£ M=(4-— I) (A — ArI) 第 一 列 的 saxpy 算法 . 

1.2.3 “给 出 一 个 列 saxpy 算法 计算 n xm 矩阵 乘积 C = AB, 其 中 A 是 上 三 角形 矩 
阵 , B 是 下 三 角形 矩阵 . 

1.2.4 ”把 算法 1.2.2 推广 到 长 方形 的 带 状 矩阵 . 注意 对 数据 结构 的 描述 . 

1.2.5 dU AH = A, 则 称 A c Cnxnm 是 Hermite 矩阵 . 设 A = B+iC, WH BT = B, 
CT = —C. 假定 我 们 用 Aherm(i, j) 储存 bi; UR i > j) 和 cij( 如 果 了 > 1) 的 方式 把 A 表示 
在 数组 A.herm 中 . 利用 这 一 数据 结构 写 出 矩阵 乘 向 量 的 算法 从 Rel) 和 Im(z) 计算 Re(z) 
和 Im(z) 使 得 z — Az. 

12.6 V X ER, AER”. A 对 称 且 按 对 角 方式 储存 . 给 出 计算 Y = X"AX 
并 将 结果 仍 按 对 角 储 存 的 算法 . 用 不 同 的 数组 储存 AF Y. 

12.7 设 aeRn 给 定量 4eRn"xn 满足 ai =a 给 出 一 个 算法 , 用 Az c y A 
#y, 其 中 vy € R^ 是 任 给 向 量 . 

12.8 ” 设 a eR" #28 A CR” 满足 aij = at 和 Daea atl 给 出 一 个 算法 , 用 
Az 4 y 覆盖 y, 其 中 c, y cR 是 任 给 向 量 . 

1.2.9 “ 求 一 个 紧凑 的 将 非 对 称 带 状 矩阵 按 对 角 储 存 的 方法 , 并 给 出 所 对 应 的 gaxpy 算法 

1.2.10 $ pH q en 维 向 量 , A= (ai) Haj = aj =pig(l<i<j< n) 所 定义 . 
对 给 定 的 x CR", 计算 y= Ac 需要 多 少 个 flop? 


本 节 注 释 与 参考 文献 
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13 分 块 矩 阵 和 算法 21 


N. Madsen, G. Roderigue, and J. Karush(1976). “Matrix Multiplication by Diagonals on a 
Vector Parallel Processor," Information Processing Letters 5, 41-45. 


13 “分 块 矩 阵 和 算法 


采用 分 块 第 阵 记号 这 一 工具 在 矩阵 计算 中 是 很 重要 的 , 因为 它 可 简化 许多 核心 
算法 的 导出 . 而 且 , “分 块 算法 ”在 高 性 能 计算 中 愈 来 愈 重要 . 分 块 算法 实质 上 是 指 
大 量 用 到 和 矩阵 乘 矩 阵 的 算法 . 在 许多 计算 环境 下 , 这 类 算法 比 基 于 低层 次 线性 代数 
的 算法 要 有 效 得 多 . 


1.3.1 “分 块 矩 阵 记号 


行 划 分 和 列 划 分 是 矩阵 分 块 的 特殊 情形 . 在 一 般 情况 下 , 我 们 对 m x n ABRE A 
的 行 和 列 进行 划分 , 得 到 


Au Air | mi 
A=] : : 
3 
Aq c Agr | ms 
nı Nnr 


其 中 m ttm = mm one n, Aag 表示 (a, 8) 块 或 子 矩阵 . 利用 此 记 
BR Aap 是 ma x ng 矩阵 , 我 们 称 A = (Aag) 是 q x r SRS. 


1.3.2 “分 块 矩 阵 乘法 


只 要 某 些 维 数 条 件 满 足 的 话 , 分 块 矩 阵 的 组 成 就 和 具有 标量 元 素 的 普通 矩阵 完 


全 一 样 . 例如 , ux 
Bu c Br 


Bao Be 

ny Thy 
我 们 就 说 B 的 分 块 与 上 面 的 A 是 “匹配 的 ”. 矩阵 C = 和 A+B 也 可 看 成 是 gxr 
分 块 矩阵 : 


| 9: It Cir 
C= . . 


Aut+Bu c Art Bir 


| Ca Ut Cor Aq + By tt Agr + Bor 


分 块 矩阵 的 乘法 稍微 复杂 . 我 们 先 给 出 两 个 引 理 ， 
引 理 1.3.1 jk AERP, Be R?*^, 
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Ai] m, 
a-| : B= [Bi,.…,B,) 
A, Ma ni nr 
则 
Cn Cir | m 
AB=C = 
Ca c Cor | ma 
ny Tr 


其 中 Cap = AaBg{a=1:¢,8 =1:r). 
证 明 ”首先 我 们 比较 Cas 中 的 元 素 与 C PURWKA. Ml <acg 
B<ri<i<m,M1<j<ng, 我 们 有 
(Cag]ij = CA 十 十 放 
其 中 
=m +t Ma- H= +: + nga. 
但 是 
卫 p 
Catiptj = Y axtikbk utj = 》 [4ujik[Balo = [Ao Ba]; 
k=1 k=1 - 
故 知 , Cap = Aa Bg. 
引 理 1.3.2 34 AECR™?, Bc RX", 


A =[A , As]; 
pi Ps ` 


B= 


则 
AB « C - M AB}. 


y=1 


证 明 ”我 们 令 s = 2 并 且 把 一 般 的 s 留 给 读者 去 证 明 (见习 题 1.3.6). 


l<i<mAM1l<j<n, 我们 有 


p Pitpa 
Cj = aab = S oabus + > Gikbkj 
k=1 k=pı+1 


= [Ai Bi] + [Bl = [Ai Bı + Az Bj]. 


故 知 , C = A Bı + ABa. 
对 于 一 般 的 分 块 矩阵 的 相 乘 , 我 们 有 如 下 结果 . 
定理 1.3.3 de X 


从 
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Au ce Ais [mi Bu ::. Bir |p, 
Aq ttt Ags Tq Ba ::. Ba |Ps 
D Ps Ti Tp 
而 且 我 们 把 C = AB 按 如 下 方式 分 块 : 
Cu c Cir mi 
C= : 
Ca Car Mq ' 
nı Nr 
bi 
Cap = 》 Aes Bag, a —1:g,B-—1:r. 
y=1 
证 明 MJM 1.3.7. 口 


如 果 令 q= 2, s= 2, r=1 和 n= 1, 则 得 到 一 个 很 重要 的 特殊 情形 : 
| Ai. Ar | | zı | _ | A121 + Ai222 | 
Ao, Az 22 Ane + AE? | 

Xx A HAUS AE ES THE DP e RI S91. 
1.3.3 FRCS 

"y “PE” EERE PE, 分 块 矩阵 乘法 能 用 不 同方 式 来 组 织 . 我 们 需要 引 
进 一 些 记号 来 准确 地 刻画 这 些 计 算 . 

设 A ERmx", 且 j= ( 订 ,… i) 和 j= (7 ,7) 是 整数 向 量 , 满足 

4c Er € (,2,:-- m}, Jit Je € {1,2, ,n). 

我 们 用 AG, 3) 表示 r x e TREE 
Aliji) +++ Alis, Je) 
A(i, j) = : 


Alir, ji) tt Alir, jc) 
如 果 下 标 向 量 ; 和 ; 中 的 元 素 是 连续 的 , 则 可 用 4 中 的 标量 元 素 以 及 “冒号 ”记号 
来 定义 AG, j). 特别 地 , E 1d «da « m S1 A « ja & n, MAG: doi: j2) 
ERS i, 行 到 第 ds 行 和 第 j 列 到 第 jo 列 取出 来 组 成 的 矩阵 , 例如 
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关于 子 矩阵 , 从 1.1.8 节 知 , 24 i 和 7 是 标量 时 , 4(i, :) 表示 A 的 第 i 行 , AG, 7) 表 
示 A 的 第 了 Py. 


1.3.4 SPSS RESE Ie) RE 


定理 13.3 包括 了 一 个 重要 的 情形 , MORER E. 我 们 考虑 gaxpy 38 
S y= Ar +y 的 详细 过 程 , 其 中 A cR”, x ER 有" yeR” H 


Ai ma Yi jmi 
A=} : y=] : 
Ag jms Yq Ja 
我 们 称 A, 为 第 i 个 块 行 . 如 果 m.vec=(m1,… ,ma) 是 块 行 之 “高 度 ” 的 向 量 , 则 
从 
Vi Ay Vi 
: f=]: [et]: jo 
Ya Aq Ya 
我 们 得 到 
last=0 
fori=1:q 


first = last+1 (1.3.1) 
last = first+m.vec(i) — 1 
y(first:last) = A(first : last, :)z + y(first : last) 
end 
每 次 循环 中 算法 执行 的 是 一 个 “普通 ”的 gaxpy 可 用 算法 1.1.3 或 者 算法 1.1.4 计 
算 . 
另 一 种 将 gaxpy 计算 分 块 的 方式 是 将 A 和 z 以 如 下 方式 划分 : 


71 


ni Ter £ 
T 


Tı 
A=|A; e Ar] ; £= : 


这 时 , 我 们 称 A; 是 A 的 第 j 个 块 列 . 设 nvec = (n1,… ,nr) 是 块 列 之 宽度 的 向 
量 , 则 从 


j=l 


Ly r 
y-[Ac- , Ar] | : | +y =J A; 


得 到 
last=0 
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for j=1:r 
first=last+1 (1.3.2) 
last—first--n.vec(j) — 1 
y = A(:, first : last)z (first : last) + y 

end 


同样 地 , 循环 中 的 每 次 gaxpy 计算 可 利用 算法 1.1.3 或 者 算法 1.1.4. 
1.3.5 SRI 


和 普通 的 以 标量 为 元 素 的 矩阵 乘法 一 样 , 分 块 矩 阵 乘法 也 可 写成 不 同形 式 . A, 
BAC 的 不 同 分 块 方式 可 为 导出 1.1 节 中 的 点 积 、saxpy 以 及 外 积 算法 之 分 块 形 
式 提供 条 件 . 为 了 用 尽 可 能 少 的 下 标 来 说 明 这 一 点 , 我 们 假定 这 3 MERRIE nx n 
&BEEH. n = NI, N All 都 是 正 整 数 . 

设 4= (Aag), B = (Bag) fll C = (Cag) VIAE Lx LER N x N 分 块 矩阵 , 从 
定理 1.3.3 可 知 


N 
Cog = X Ae Bas + Cos; a=1:N, B=1:N. 
yl 
如 果 我 们 按 这 一 求 和 公式 组 织 矩 阵 乘法 , 则 得 到 算法 1.1.5 的 分 块 形式 
fora=1:N 
i=(a—1)l4+1:al 
for B=1:N 
j=(B—1)+1:£l 
for y=1:N 
k=(y—-1)l+1:71 (1.3.3) 
Cli, j) = Ali, K)B( j) + C3) 
end 
end 
end 


FRI =1 NA a =i, B=jMre=k, 就 回 到 算法 1.1.5. 
为 了 得 到 一 个 分 块 的 saxpy ERRE, 我 们 把 C = AB -C 写成 


Bui + Bin 
(Ci, CN] = [A1 Ax] D . + [Cu Cnh, 
Bwi © BNN 
其 中 Aa, Ca E R?*!, Bag ER. 从 而 可 得 到 


for B=1:N 
j-(8-1)-ca:Bl 
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fora=1:N 
i=(a-1l+l:al (1.3.4) 
CG, 9) = AC, OBE, j) + CC, 3) 

end 


end 
此 算法 是 算法 1.1.7 的 分 块 形式 . 
分 块 的 外 积 算法 可 由 下 面 划分 来 导出 : 


Bi 
A — [Au An], B- : , 


其 中 A, By E R°”. 从 引 理 13.2 可 知 


N 
C=) A,B] «C, 

LÀ 
故 得 到 
for y=1:N 

k=(y-Dl+1:41 (1.3.5) 

C = A(,k)B(k,:) +C 
end 


这 就 是 算法 1.1.8 的 分 块 形式 . 
1.3.6 ZERRE 
考虑 复 矩 阵 乘法 : 
C; t iC; = (Ai +iA2)(B1 + iB) + (Ci + iC2), 
其 中 所 有 的 矩阵 都 是 实 的 , 2 = —1. 比较 实 部 和 虚 部 就 得 到 
Cı = A Bı — A2B2+Ci, Ca = A1B2+ AzBı + C2, 
也 可 表示 成 矩阵 形式 
ist tabiel 
C» A, Aj Bo C3 
这 表明 可 以 用 实 和 矩阵 软件 来 求解 复 矩 阵 问 题 . 唯一 不 足 的 是 在 矩阵 
a[i a 


中 需要 将 矩阵 A 和 A: 储存 两 次 . 
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1.8.7 “分 而 治之 ”矩阵 乘法 
我 们 以 讨论 矩阵 乘法 完全 不 同 的 方式 来 结束 本 节 . 首先 讨论 2 x 2 RAEN 


| Cu Ci | _ | Au Á: | By Bi 

Ca Cz A2 Az Ba Bz | 

其 中 每 块 都 是 方 阵 . 在 普通 算法 中 , Cj = An Bij + AiaB2;. 一 共有 8 次 乘法 和 4 
次 加 法 . Strassen(1969) 证 明 仅 用 7 次 乘法 和 18 次 加 减法 可 计算 C: 


P: = (Au + Az2(Bii + B22), 
Pa = (An + Aga) Bu, 

Pa = Ay (By2 — B22), 

Pa = Az (Bài — Bin), 

Ps = (Au + A12) B22, 

Pg = (An — A11)(B1 + Biz), 
P; = (Ai — A22)( B21 + B22), 
Cy = Pi + P4 — Ps Pr, 
C; = P3 + Ps, 

C21 = Po + Pa, 

Ca = Pi + P3 — P2 + Ps, 


直接 替换 即 可 证 明 这 些 公式 . 假定 n = 2m, 则 每 块 都 是 mxm. 计算 C = AB 中 加 
法 和 乘法 次 数 , 可 知 常规 矩阵 乘法 需要 (2m)? 次 乘法 和 (2m)? — (2m)? 次 加 减法 . 而 
如 果 在 分 块 矩 阵 的 常规 乘法 中 用 Strassen 算法 , 则 需要 7m? 次 乘法 和 7m? + 11m? 
次 加 减法 . 如 果 m > 1, 则 Strassen 算法 所 需 运 算 量 是 常规 算法 的 7/8. 
可 以 看 出 , Strassen 思想 能 反复 应 用 . 特别 地 , 我 们 可 在 求 每 个 P: 的 一 半 维 数 
的 块 矩阵 乘法 中 用 Strassen 算法 . 所 以 , 当 AM BME nx n A n = 27 时 ， 
我 们 可 重复 应 用 Strassen 算法 . 在 最 底层 , 块 的 大 小 是 1 x 1. SR, 也 没 必要 一 直 
递 推 到 n = 1. 当 块 的 维 数 足够 小 (n < nmin) 时 , 计算 P; 就 可 用 常规 的 矩阵 乘法 . 
下 面 是 一 个 完整 的 算法 . 
算法 1.3.1 (Strassen 乘法 ) Hn = 29, Ac R” fo B eR”. de 
nmin = 24(d < q), 则 本 算法 递归 应 用 Strassen 技巧 g 一 d Kit É C = AB. 
function: C = strass(A, B,n,nmin) 
if n < nmin 
C = AB 
else 
m=n/2u=1:muv=m+1in; 
P, = strass(A(u,u) + A(v,v), B(u, u) + B(v,v), m, nmin) 
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Pj = strass(A(v, u) + Alv, v), B(u, U), M, nmin) 
P3 = strass(A(u, u), B(u, v) — B(v,v), M, nmin) 
P4 = strass(A(v, v), B(v, u) — B(u, u), Mm, nmin) 
P; = strass(A(u, u) + A(u, v), B(v, v), m, nmin) 
P = strass(A(v, u) — A(u, u), B(u, u) + Blu, v), m, nmin) 
P; = strass(A(u, v) — A(v, v), Biv, u) + B(v,v), Mm, nmin) 
C(u, u) = P, + Pa — Ps + Pr 
C(u, v) = P3 + Ps 
C(v,u) = P + P4 
C(v,v) = Pi + Pa - Pa + Ps 
end 
与 我 们 以 前 所 介绍 的 算法 不 同 ,，“strass” 是 递归 的 , 它 在 程序 中 调用 自身 .“ 分 
而 治之 ”类 型 的 算法 常常 用 这 种 方式 叙述 , 我 们 把 这 个 算法 写成 MATLAB 函数 , 从 
而 递归 调用 可 精确 地 写 出 
strass 算法 的 运算 量 是 n 和 nmin 的 复杂 函数 . 当 nmin c» 1 时 , 由 于 加 法 的 次 
数 与 乘法 的 次 数 大 体 相同 , 所 以 只 需 计算 乘法 次 数 . 而 统计 乘法 运算 次 数 只 需 分 析 
OB A YE, 因为 只 有 在 此 层 才 有 乘法 运算 . strass 要 重复 调用 q- d 次 , 故 需要 
T4 个 常规 的 矩阵 乘法 . 这 些 乘法 中 矩阵 的 维 数 是 nmin, 故 strass BIE A He OF 
法 次 数 为 s = (24) x 79-4, 常规 的 矩阵 乘法 中 乘法 运算 次 数 为 c = (29)3. 注意 到 


8 aa)? ra 
‘= (F) wea ($) i 
如 果 d=0, 即 我 们 递归 到 1 x 1 块 , 则 


7M 
s= G c = TI = nba ay 2-807, 


所 以 , 在 渐 近 意义 上 , strass 方法 的 乘法 次 数 是 O(n2307). 但 是 , 当 nmin 很 小 时 , 加 
法 的 次 数 (与 乘法 次 数 相 比 ) 将 会 是 很 大 . 

例 1.3.1 $0 n = 1024 和 nmin = 64, 则 strass 算法 需要 的 运算 量 仅 是 常规 
方法 的 (7/8)!0-5 = 0.6. 


3 M 


1.8.1 ”推广 (1.3.3) 使 其 能 处 理 划分 是 定理 1.3.3 所 给 出 的 情形 . 

1.3.2 ”推广 (1.3.4) 和 (1.3.5) 使 之 能 处 理 不 同 的 维 数 的 分 块 . 

1.3.3 ”修改 strass 使 之 可 应 用 于 任何 维 数 的 方 阵 屠 法 . 提示 : 如 果 “ 当 前 ”的 A 是 奇数 
维 , 则 加 一 个 零 行 和 零 列 . 

1.3.4 NUR 
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Au Air 
A= : 
Ag Agr 
是 A 的 分 块 , 证 明 
Án An 
AT = : 
AL ... AT. 
1.8.8 Rn 是 偶数 , 定义 从 R^ FR 的 函 
n/2 
f(z) =a2(1:2:n)"2(2:n) = sacan. 
i-i 


(a) 证 明 对 任何 s, y € R^ 有 
， n/2 
zy = > (tz + yai)(zoi + yzi-1) — f(x) — f(y). 


i=1 
(b) SH n x n EHR C = AB, 给 出 一 个 通过 将 f 应 用 到 4 的 行 以 及 B 的 列 的 计 
RRE C = AB 的 需要 m3/2 KASEI. 详细 讨论 可 见 Winograd(1968). 
1.8.6 ”对 一 般 的 s 证 明 引 理 1.3.2. 提示 : > pi = 0, 
py ptt» Y=1:8+1, 
证 明 


3 pul 


ej-. 5 aipbkj- 


yelk=pytl 
1.8.7 “利用 引 理 1.3.1 和 引 理 1.3.2 证 明定 理 1.3.3. 特别 地 , 取 
Aly . 
A, = : ， By = [By,… By]. 
Agy 
A338 1.3.2 知 


c-Y AB, 
y=1 


借助 于 引 理 1.3.1 分 析 每 一 个 AyB”. 
本 节 注 释 与 参考 文献 


很 长 时 间 以 来 , 矩阵 乘法 的 快速 算法 在 计算 机 科学 中 受到 高 度 重视 , 请 参阅 : 
S.Winograd(1968). “A New Algorithm for Inner Product," IEEE Trans. Comp. C-17, 693- 
694. : 
V. Strassen(1969). “Gaussian Elimination is Not Optimal," Numer. Math. 13, 354-356. 
V. Pan(1984). “How Can We Speed Up Matrix Multiplication?," SIAM Review 26, 393-416. 


许多 此 类 方法 的 实际 价值 并 不 清楚 , 但 是 在 
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D. Bailey(1988). “Extra High Speed Matrix Multiplication on the Cray-2,” SIAM J. Sci. 
and Stat. Comp. 9, 603-607. 

一 文 发 表 之 后 , TAA A Be KARR EEA AN. Strass 算法 的 “稳定 性 ”将 

在 2.4.10 节 中 讨论 . 也 可 参阅 : 

N. J. Higham(1990)." Exploiting Fast Matrix Multiplication within the Level 3 BLAS,” ACM 
Trans. Math. Soft. 16, 352—368. 

C. C. Douglas, M. Heroux, G. Slishman, and R. M. Smith(1994). " GEMMW: A Portable 
Level 3 BLAS Winograd Variant of Strassen's Matrix-Matrix Multiply Algorithm," J. 
Comput. Phys. 110, 1-10. 


1.4 向 量化 与 数据 重复 使 用 


本 书 中 讨论 的 矩阵 乘法 大 多 是 基于 点 积 和 saxpy 运算 . 向 量 流水 线 计 算 机 能 很 
快 执行 这 类 向 量 运 算 , 因为 它 的 硬件 充分 利用 向 量 运 算是 一 连 串 的 标量 运算 这 一 特 
A. 这 样 的 计算 机 效率 是 否 高 取决 于 向 量 的 长 度 以 及 其 他 一 些 关 于 数据 移动 的 因 
素 , 如 向 量 间 、 向 量 存储 的 次 数 以 及 数据 重新 利用 的 程度 等 . 我 们 的 目的 是 熟悉 这 
些 因素 . 我 们 并 不 试图 设计 可 用 来 预 估 表现 的 完整 的 向 量 计算 模型 . 我 们 只 想 指出 
那些 在 设计 有 效 的 向 量 计算 程序 中 的 思路 . 我 们 不 考虑 任何 特定 的 计算 机 . 关于 具 
体 机 型 的 讨论 有 大 量 的 参考 文献 说 明 ， 


1.4.1 ”流水 线 运算 


向 量 计算 机 快 的 主要 原因 是 与 “流水 线 ” 有 关 . 流水 线 的 概念 最 好 是 用 生产 装 
配 线 作为 例子 来 说 明 . 假定 组 装 每 辆 汽车 需要 在 装配 线 上 的 60 个 工作 台 每 一 台 花 
1 分 钟 . 如 果 组 装 线 上 人 员 充 足 , 每 分 钟 都 能 启动 一 次 新 的 组 装 , 那么 组 装 1000 辆 
汽车 大 约 需要 1000+60=1060 分 钟 . 对 于 这 种 生产 量 来 说 , 该 条 生产 线 的 有 效 “ 向 
量 速度 ”是 每 分 钟 1000/1060 辆 . 在 另 一 方面 , 如 果 组 装 线 上 人 员 不 足 , 则 要 1 小 
时 才能 启动 一 次 新 的 组 装 , 所 以 制造 1000 辆 汽车 需要 1000 小 时 , 在 这 种 情况 下 ， 
这 条 生产 线 的 有 效 “ 标 量 速度 ”是 每 分 钟 1/60 辆 . 

同样 , 对 向 量 相 加 z = = + y 这 样 的 流水 线 向 量 运算 也 是 如 此 . 每 个 标量 运算 
zi = + y 像 是 一 辆 车 , 向 量 的 元 素 个 数 就 如 生产 量 . 如 果 每 个 二 从 开始 到 结束 
的 时 间 是 r, 则 利用 流水 线 的 n 维 向 量 相 加 可 以 在 远 小 于 mr 的 时 间 完 成 , 这 就 产 
生 了 向 量 速度 . 没有 流水 线 , 向 量 计 算 以 标量 速度 进行 , 从 而 将 需要 大 约 nr 时 间 完 
成 . 

我 们 看 一 组 浮 点 运算 怎样 才 可 以 流水 线 化 . 浮 点 运算 通常 需要 几 步 完成 . 举例 
来 说 , 两 个 标量 > 和 y 相 加 的 3 步骤 可 按 图 1.4.1 进行 . 为 说 明 这 一 运算 , 我 们 还 
用 上 面 的 比喻 , 把 加 法 器 看 成 一 条 有 三 个 “工作 合 ” 的 装配 线 . 输入 的 标量 z M y 
要 在 三 个 工作 台 上 都 花 上 一 步 , 三 步 之 后 和 z 就 出 来 了 . 注意 到 ,“ 无 等 待 ”的 单个 
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加 法 需要 计算 时 , 在 计算 过 程 中 三 个 工作 台 仅 有 当中 之 一 个 是 忙 的 . 


r -> 
m | oen | 7 
y— > 


图 1.4.1 3 个 步 又 的 加 法 器 


现在 , 我 们 考虑 向 量 相 加 z = z +y. z My 就 像 在 流水 线 上 似 的 通过 加 法 器 . 
一 旦 流水 线 满载 并 达到 稳定 状态 后 , 每 一 个 循环 就 可 得 到 一 个 x. 图 1.4.2 刻画 了 
流水 线 满载 后 的 情形 . 在 这 种 情形 . 向量 速 度 就 大 约 是 标量 速度 的 三 倍 , 这 是 由 于 
每 一 个 单独 的 加 法 需要 3 步 . 


对 位 相 加 


ee to | % [>| 75 规范 化 
eod -| w |>| ts >| > J> UT 
图 142 ”流水 线 化 相 加 


1.4.2 ”向量 运算 


向 量 计算 机 具有 “向 量 指令 ”的 功能 , 如 向 量 相 加 、 向 量 乘 法 、 向 量 加 数 、 点 积 
和 saxpy. 为 明了 起 见 , 我 们 假定 是 在 “向 量 寄存 ”下 考虑 这 些 运算 . 向 量 在 寄存 器 
和 存储 器 之 间 可 通过 “vector load” A “vector store” 指 令 来 交换 . 
向 量 处 理 器 中 的 一 个 重要 的 因素 是 向 量 寄存 器 的 长 度 , 我 们 记 之 为 v. 一 个 
维 向 量 运算 必须 分 为 若干 个 长 度 不 超过 vz 的 子 向 量 的 运算 . 以 下 就 n 维 向 量 相 加 
z =x +y 来 说 明 如 何 进 行 划分 . 
first=1 
while first< n 
last=min{n, first + vz — 1} 
vector load x(first:last). 
vector load y(first:last). 
vector add: z(first:last)—:z(first:last) 4-y(first:last). 
vector store z(first:last). 
first-last-F1 
end 
向 量 计算 机 的 合理 的 编译 器 应 该 可 以 从 程序 中 的 z = z+y 指令 自动 产生 上 述 
向 量 指令 . 


1.4.3 向 量 长 度 
假定 向 量 运算 op 的 流水 线 需 要 7op 步 “ 启 动 ”. 还 假定 当 流 水 线 满载 后 每 步 
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可 得 到 结果 的 一 个 分 量 . 完成 一 个 n 维 的 op 所 需 时 间 为 
Top(n) = (Top +n), <UL, 
其 中 u 是 每 步 所 需 时 间 , v 是 向 量 硬件 的 长 度 . 


如 果 要 考虑 的 向 量 长 于 向 量 硬件 的 长 度 , 我 们 已 看 到 必须 将 整体 的 向 量 运算 截 
成 硬件 能 处 理 的 分 段 运算 . 所 以 , 当 


n-mnjup-- no, Ono «vr 
Br, 我 们 可 假定 
Top(n) = | na (Top + vL) mo 一 
(n1 (Top + UL) + Top + no)p, no 天 0 
是 n 维 运算 op 所 需 的 全 部 时 间 , 上 式 可 简化 成 
Top(n) = (n + ropceil(n/vr))u. 


其 中 ceil(a) 是 满足 于 a < ceil(a) 的 最 小 整数 . 假定 计算 每 个 分 量 需 要 p 个 fop, 
则 对 一 般 的 n, 计算 的 效率 是 


Rop(n) = -2 = Pd s. 
, To(n) ni, ceil (2) 
(如 果 /的 单位 是 秒 , 则 Rop 是 每 秒 的 flop 数 .) 渐 近 效率 是 
. p 
lim Rohn) = "icy 
UL 
作为 评价 向 量 运 算 中 启动 开销 之 影响 的 程度 的 一 种 方式 , Hockney and Jesshope 
(1988) 定义 nia 为 达到 一 半 峰 值 的 最 小 的 n, 即 
pm lp 
Top(Mij2)  2u 
具有 大 因子 mj. 的 计算 机 执行 短 向 量 运算 时 效果 不 好 . 
我 们 现在 看 以 上 计算 模型 如 何 运 用 到 矩阵 乘法 修正 C = AB +C, HH Ae 
R"*».B c REX” ALC c R"*^, JA 1141 节 可 知 有 六 种 可 能 的 常规 算法 , 它们 对 
应 于 下 面 循环 的 六 种 可 能 排序 : 


fori=i:m 


for j=1:n 
for k=1:p 
Ci, j) = Ali, k)B(k, j) + (6.3) 
end 
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end 
end 


这 是 ijk BX, 它 的 最 内 层 循环 是 p 维 向 量 的 点 积 . 因而 , 从 我 们 的 效率 模型 可 知 
需要 


Tijk = mnp tmn: ceil(p/vz)Tdot 


2b. 对 其 他 几 种 形式 进行 同样 分 析 可 得 下 表 . 


形 式 步 
ijk mnp + mn - ceil(p/vz) : Tdot 
jik mnp + mn : ceil(p/vr) : Tdot 
ikj mnp + mp - ceil(n/vr) + Tsaz 
jki mnp + np -ceil(m/vL) + Tsar 
kij mnp + mp  ceil(n/vr) Tsar 
kj mnp + np-ceil(m/uz) - Taas 


我 们 基于 简单 的 整数 计数 进行 一 些 观察 ， 假 定 Toon 和 ras 大 致 相等 ， 如 果 
m,n Al 都 小 于 vr, 则 最 有 效 的 形式 应 具有 最 长 的 内 层 循环 , 如 果 m,n 和 p 都 远 
大 于 vz, 则 六 种 形式 的 差别 甚 微 . 


1.4.4 “ 间 ” 的 概念 


向 量 运 算 在 存储 上 的 花费 对 运行 速度 是 有 影响 的 . 主要 的 因素 是 “ 间 ”. 储存 
浮 点 向 量 的 “ 间 ” 是 向 量 元 素 (在 逻辑 内 存 位 置 ) 之 间 的 距离 . 读 取 两 维 Fortran 数 
组 的 行 不 是 整体 间 运 算 , 因为 数组 是 按 列 储存 的 . 与 此 相反 , 在 C 语言 中 , 矩阵 是 
按 行 储 存 的 . 非 整体 间 运 算 影 响 计算 机 的 流水 线 能 力 , 从 而 降低 效率 . 

为 说 明 * 间 ”的 作用 我 们 考虑 矩阵 飞 法 的 六 种 形式 在 最 内 层 是 如 何 从 矩阵 A, B 
和 C 中 “抽取 ”数据 的 , 这 是 向 量 计算 (点 积 或 saxpy) 所 在 , 一 共有 三 种 可 能 性 : 

jki HE kji fori=1:m 

C(i, j) = Cli, j) + AG, k) B(b, j) 
end 

ikj R kij forj=1:n 

Cli, j) = C(i, j) + AG, kK) B(k, j) 
end 

ijk ER jik fork —1:p 

C(i, j) = C(i, j) + Ali, E) B(k, 9) 
end 


下 表 是 这 三 种 情形 所 对 应 的 A, B 以 及 C 的 “ 间 ”: 
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形 式 4 的 “ 间 ? B 的 “ 间 ” C 的 “ 间 ” 
jki 或 kji 整体 0 整体 
ikj 或 kij 0 | 非 整 体 非 整体 
ijk 或 jik 非 整体 整体 0 


假定 储存 是 按 列 为 顺序 的 . 0“ 间 ”代表 在 内 层 循环 中 仅 用 到 数据 的 一 个 元 素 . 
从 “ 间 ” 的 角度 来 看 , 我 们 应 该 偏爱 jki 和 kji 形式 . 这 可 能 与 基于 向 量 长 度 所 考 
虑 的 偏好 不 一 致 . 这 种 困境 在 高 性 能 计算 是 有 代表 性 的 , 即 一 个 目标 ( 极 大 化 向 量 
长 度 ) 与 另 一 个 目标 (要 求 整 体 “ 间 ”) AFA. 

有 时 , 整体 间 与 向 量 长 度 的 矛盾 可 通过 适当 地 选取 数据 来 解决 . 考虑 gaxpy 运 
算 y = Arty, 其 中 A cR” BORE. 为 简单 起 见 , 假定 n < vz. 设 A 是 按 
常规 储存 且 应 用 算法 1.1.4, 则 核心 的 计算 是 n 个 n 维 向 量 的 saxpy: 

for j=1l:in 

y = Al, ai) +y 

end 

简单 的 运行 模型 表明 需要 
Ti = n(Tsas + n) 


2. 
在 1.2.7 节 我 们 介绍 了 对 称 矩 阵 的 下 三 角 储存 方式 且 得 到 如 下 形式 的 gaxpy: 
for j—1:n 
fori=1:j-1 
yli) = A.vec((i — 1)n — i(i — 1)/2 + 3)2G) + y) 
end 
fori-j:n 
y(i) = A.vec((j — Dn — 3G — 1)/2 + 2G) + y(i) 
end 
end 
注意 到 第 一 个 i 循环 并 不 是 整体 间 的 saxpy. 如 果 我 们 假定 一 个 ” 维 的 非 整体 
闻 saxpy 等 价 于 ”个 整体 间 的 saxpy( 一 个 最 坏 的 情形 ). 则 此 算法 需要 


Tg=n (5 Teos + n) 
步 . 
在 1.2.8 节 中 我 们 给 出 了 按 对 角 储 存 的 算法 : 
fori=1:n 
yli) = A.diag(i)z(i) + y(i) 
end 
fork =1:n-1 
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t — nk — k(k — 1)/2 
(y = D(A,k)z + y] 
fori=l:n—k 
y(t) = A.diag(i + t)z(i + k) + y(i) 
end 
(y = D(A, k)"2 +y} 
fori-l:n-k 
y(i + k) = A.diag(i + t)z(i) + yli + k) 
end 

end 

在 这 种 情形 下 , EPA RRR ETRE (vm), 根据 我 们 的 模型 , 它 需要 
T3 =m(2rom + n) 
步 . 

此 例 说 明了 数据 的 结构 可 以 影响 一 个 算法 之 “ 间 ” 的 性 质 . 按 对 角 储存 看 上 去 
很 有 吸引 力 , 因为 它 把 矩阵 紧 姿 地 表示 且 有 整体 间 性 质 . 然而 , 仔细 地 分 析 哪 一 种 
方式 最 好 , 取决 于 Teas 和 mm 的 值 和 非 整体 间 计 算 以 及 过 量 储存 所 导致 的 精确 影 
响 . 这 是 一 个 复杂 的 问题 , 它 需要 精心 设计 的 标准 检查 程序 . 


1.4.5 “考虑 数据 移动 


矩阵 算法 中 的 另 一 个 重要 因素 是 关于 在 算法 执行 过 程 中 需要 移动 的 数据 量 . 矩 
阵 储存 于 内 存 之 中 , 关于 矩阵 元 素 的 计算 在 计算 器 中 进行 . 在 许多 计算 机 中 内 存 通 
信 的 控制 对 性 能 是 十 分 重要 的 . 继续 用 本 节 开 始 时 所 用 的 
比喻 : “我 们 能 否 足 够 快 输送 矩阵 数据 , 以 保持 超 快 的 计算 + * | 
BARH? 我 们 能 和 否 把 结果 快速 送 回 内 存 ， 而 不 致 于 数据 
积压 ?> 图 1.4.3 给 出 一 个 典型 的 单 处 理 器 情形 . 具体 的 设 


计 在 不 同 的 机 器 中 是 不 同 的 , 但 有 两 条 “公理 ”是 满足 的 : 
j [x Ae] 
e 分 级 中 的 每 级 的 储存 有 限 且 由 于 经 济 原因 级 越 高 储 | 
存 就 起 小 。 

e 数据 在 两 级 储存 之 间 的 移动 是 需要 费时 的 ， 有 时 还 


设计 一 个 有 效 的 矩阵 算法 需要 仔细 考虑 数据 在 不 同 级 别 存 储 的 流动 . 关于 这 方 
面 , 向 量 “ 触 ”和 数据 再 用 是 重要 的 问题 . 


1.4.6 BEA 


在 许多 超级 计算 机 中 , 数据 量 分 段 (例如 , AB) 是 移动 的 . 从 内 存 读 写 一 组 向 
量 所 需 的 时 间 大 致 相当 于 用 这 组 向 量 进 行 点 积 式 saxpy 所 需 的 时 间 , 因而 , 矩阵 程 
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向 量 触 的 数目 是 重要 的 统计 数 . 所 谓 “ 向 量 触 ”, 指 的 是 一 次 向 量 读 取 或 向 量 
写 . 
我 们 数 一 下 m x 外 积 的 向 量 触 数目 . 假定 m — m vr 和 n= mor, 其 中 wr 
是 硬件 的 向 量 长 度 ( 见 1.4.3 节 ). 在 这 种 情况 下 , 外 积 修正 A = Ac ry! 可 整理 为 
fora=1:mi 
i=(a—1)vz+1: avy 
for G=1: 
j= (8-l)oy +1: Box 
AG, j) = AG, j) + xy)? 
end 
end ， 
FHER A, j) 的 每 一 列 都 需要 读 取 、 修正 然后 存 回 去 , 再 加 上 x Sy 的 向 量 触 , 我 
们 发 现 一 共 大 约 需 要 


a=1 B=1 
向 量 触 .( 低 阶 项 在 分 析 中 全 去 本.) 
现在 考虑 gaxpy BIE y = As +y, 其 中 y € R^, œ eR”, Ae Rn", 把 计算 
分 解 为 长 度 为 vz 的 小 段 可 得 到 


for a=1:m, 


i=(a—1)uz4+1: av, 
for G=1:m 
j= (8—1wr +1: pvz 
y(i) = y(i) + AG, Ja) 
end 
end 
同样 , TERE AC, 7) 的 每 一 列 都 需要 读 取 , 但 只 需 把 与 y 有 关 的 子 向 量 存 回去 . 所 
以 m x n gaxpy 的 向 量 触 数目 为 


Y ( 十 Ya + vj RS min. 
aci B=1 

这 是 同样 维 数 外 积 所 需 的 向 量 触 的 一 半 . 所 以 , 当 一 个 计算 可 写成 外 积 或 者 是 gaxpy 
时 , 从 向 量 触 的 角度 来 看 最 好 是 写成 后 者 . 

14.7 ”分 块 与 再 用 


缓冲 是 介 于 运算 器 与 主 内 存 之 间 的 一 个 小 的 高 速 内 存 , 见 图 1.4.3. 缓冲 的 有 效 
利用 影响 计算 表现 , 因为 它 直接 关系 到 数据 在 运算 器 与 下 级 内 存 的 流动 . 
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为 说 明 这 一 点 , 我 们 考虑 矩阵 乘法 修正 C= AB +C, 其 中 A, B,C eR” 
存 于 主 内 存 ?. 所 有 数据 必须 通过 缓冲 才能 到 达 进 行 浮 点 运算 的 运算 器 . 如 果 缓 冲 
小 而 n BEK, 则 修正 必须 分 成 小 的 部 分 , 缓冲 才 可 “体面 地 ”让 数据 通过 . 
一 种 方式 是 将 BAC 分 块 : 
B=[Bi,:… , By], C =[C1,: ,Cn], 
l 1 l l 
其 中 n =N. 从 展开 式 


n 
Ca = ABa + Ca = X AC: k)Balk,:) + Ca 
k=1 


我 们 得 到 如 下 计算 框架 
fora=1:N 
把 By 和 Ca 取 到 缓冲 
fork=1:n 
把 A(:,k) 取 到 缓冲 并 计算 Ca 
Ca = A(:,k) Balk, :) + Co 
end 
把 C, 存 回 主 内 存 
end 
注意 到 , 如 果 缓 冲 器 大 小 为 M 个 浮 点 数 , 则 必须 有 
2nl +n < M. . (1.4.1) 
AT, 是 缓冲 与 主 内 存 之 间 ( 任 一 方向 ) 流动 的 浮 点 数 . B 的 每 个 元 素 都 要 取 到 组 
冲 一 次 , C 的 每 个 元 素 都 要 取 到 缓冲 一 次 且 存 回 主 内 存 一 次 , 还 有 A 的 每 个 元 素 
都 要 取 到 缓冲 N = n/l 次 . 所 以 


Ty = 3n? + T. 
为 了 使 数据 流动 尽 可 能 少 , 我 们 在 (1.4.1) 的 条 件 下 选取 尽 可 能 大 的 1. 于 是 我 们 取 


1/M 


2n* 
M-n 
UB “x” , 强调 我 们 的 分 析 是 非 精确 的 ) 如 果 缓 冲 大 到 可 存在 整个 B 和 C 以 及 
A 的 一 列 , 则 1 = n, Dy = 4n2， 在 另 一 个 极端 情况 ,缓冲 只 能 存 三 个 列 向 量 , 则 
l=1, e n. 


O 如 果 矩 阵 存在 磁盘 中 , 需要 移 到 主 内 存 的 话 , 那么 下 面 的 内 容 就 适用 了 . 


得 到 


Ie 3n? + 
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现在 我 们 考虑 A = (Aga), B = (Bap) Ñ C = (Cag) 是 Nx N 分 块 旦 每 块 的 
维 数 都 是 ! = n/N. 在 此 分 块 下 , 计算 


N 
Cap =>, AoyByp, a=1:N, B=1:N, 
y=1 


可 写成 
fora=1:N 
for G=1:N 
将 Cag 取 到 缓冲 
for y=1:N 
将 Aay 和 Bag 取 到 缓冲 
Cap = Cap + Áo, B48 
end 
将 Cop 存 回 主 内 存 
end 
end 
在 此 情形 主 内 存 与 缓冲 之 间 的 流量 为 
T> = 2n? + m 
这 是 因为 4 的 元 素 和 B 的 元 素 需要 读 取 N = n/K, C 的 每 一 个 元 素 都 需 读 取 
以 及 存 写 一 次 . 我 们 能 通过 选取 尽 可 能 大 的 工 来 极 小 化 这 一 通 量 , 条 件 是 只 要 缓冲 
中 能 储存 下 三 个 矩阵 块 , 即 


3? « M. 
4 Le ./M/3 即 知 
Dj 2 2n? +m =. 
通过 简单 计算 可 知 
2n* n? 
2 
n. n^ + M 3 十 2 一 


Ri 之 M 
I: 3^ 2^ 
? 2n? + 2n34/ a1 2+ 2/8 元 


一 个 重要 的 量 是 n2/M, 即 矩阵 大 小 ( 浮 点 数 ) 与 缓冲 器 大 小 之 比 . 当 这 个 比 增 大 时 ， 
有 


non 
I 3M’ 


故 知 从 数据 进出 缓冲 器 的 角度 来 说 , 第 二 种 分 块 方案 要 好 . 所 有 这 些 所 导致 的 基本 
结论 是 , 分 块 影响 数据 的 移动 . 
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1.4.8 ”分 块 矩 阵 结构 


我 们 以 讨论 分 块 数据 结构 来 结束 本 节 ， 人 允许 两 维 数组 的 程序 语言 必须 有 在 内 
存 如 何 储存 这 种 数组 的 约定 . 例如 , Fortran 是 按 列 优先 储存 两 维 数组 的 . 这 意味 着 
一 列 的 元 素 在 内 存 中 是 相 邻 的 . 所 以 , NUR 24 个 储存 单元 分 配给 A c R6, 则 传 
统 的 列 优先 储存 是 把 矩阵 元 素 像 图 1.4.4 那样 排列 储存 在 内 存 之 中 的 ， 换 名 话说 ， 
如 果 A c Rmxn 存 于 v(1: mn), W AG, 3) 存 于 v((j — 1)m - j). 这 种 方式 对 于 按 
列 用 到 和 矩阵 之 元 素 的 算法 是 有 好 处 的 , 因为 列 元 素 是 连续 存储 的 . 


图 1.4.4 按 列 存储 (4 x 6 例子 ) 


在 某 些 分 块 矩阵 算法 中 , 有 时 把 矩阵 按 块 存 比 按 列 存 更 有 用 , 例如 , 上 面 提 到 
的 矩阵 A 可 看 作 是 一 个 2x 3 SERRE, 每 块 都 是 2x2 块 , 则 24 个 元 素 在 内 存 中 
可 按 图 1.4.5 所 示 排 列 . 这 种 数据 结构 对 分 抉 矩阵 算法 是 很 有 吸引 力 的 , 这 是 由 于 
每 块 的 元 素 在 内 存 中 是 连续 存放 的 . 


图 1.4.5“ 按 块 储存 (4 x 6 例子 , 2 x 2 子 块 ) 
习 题 
1.4.1 “考虑 矩阵 乘积 D = ABC, 其 中 A €R”, B eR” MCER™!, 假定 所 有 


MEMO, 且 执 行 k 维 整体 间 的 saxpy 运算 需要 的 时 间 为 t(k) = (L+k)u, 其 中 工 是 
常数 , u 是 每 一 步 的 时 间 ， 基于 这 一 模型 , 什么 时 候 用 D = (AB)C 比 用 D = A(BC) Rit 
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算 更 经 济 ? 假定 所 有 的 矩阵 乘法 都 用 jki(gaxpy) 算法 . 

1.4.2 ” 设 所 有 的 矩阵 都 是 按 列 储存 , 运行 长 度 为 上 的 saxpy 需 时 间 t(k) — (L+ ku, 其 
中 LERN, p 是 每 步 的 时 间 , 问 jki 形式 的 saxpy 运算 需要 多 少时 间 ? 给 出 一 个 能 有 将 处 
理 A 和 B 都 是 nxn 上 三 角形 矩阵 的 情形 . 此 算法 的 速度 是 否 像 flop 数 所 表明 的 那样 是 方 
阵 情 形 的 6 倍 ? 

143 ”给 出 一 个 计算 C = ATBA 的 算法 , 其 中 A 和 BME nxn AERE B 是 对 
称 的 . 所 有 内 层 数据 都 应 该 是 整体 间 . 

1.4.4 ”假定 A cR” RAF Aco : mn). Bm=hLM 和 n= lzN, 我 们 把 A 
看 成 M x N 分 块 矩阵 . 每 块 大 小 为 xk. f£ áo M BWR i <ishl<j<h1l< 
a<MAL<B<N, RY k 468 A.col(k) 储存 Aas 中 的 (4,7) 元素, 请 给 出 一 个 将 4 按 
块 储存 ( 见 图 1.4.5) AA A.col(k) 的 算法 . 请 问 需要 多 大 的 工作 数组 ? 
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第 2 章 矩阵 分 析 


矩阵 计算 的 算法 之 导出 和 分 析 需 要 借助 于 线性 代数 的 某 些 性 质 ， 一 些 基 本 的 
性 质 在 2.1 节 中 介绍 , 范 数 及 其 性 质 在 2.2 节 和 2.3 节 中 介绍 . 在 2.4 节 中 , 我 们 给 
出 有 限 精度 计算 的 模型 并 将 其 用 于 误差 分 析 . 

2.5 FA 2.6 节 介 绍 正 交 性 , 正 交 性 在 矩阵 计算 中 是 至 关 重 要 的 . 奇异 值 分 解 
和 CS 分 解 是 两 个 正 交 约 化 , 它们 有 助 于 深刻 理解 秩 以 及 子 空间 之 间 的 距离 等 重要 
概念 . 在 2.7 节 我 们 讨论 当 A 和 5 有 扰动 时 线性 方程 组 Am = b 之 解 是 如 何 变化 
的 , 并 给 出 了 和 矩阵 条 件数 这 一 重要 概念 . 
预备 知识 

与 本 章 内 容 相 辅 的 文献 包括 Forsythe and Moler(1976), Stewart(1973), Stewart. 
and Sun(1990), 以 及 Higham(1996). 


2.1 ”线性 代数 初步 


AS AN SS RRR, 希望 更 详细 了 解 的 读者 应 参阅 本 节 末 给 出 的 参考 
文献 . 


2.1.1 独立 , 子 空间 , BAER 


HFR” 中 的 一 组 向 量 {a1,… , aw}, WRA Di ajaj =0 可 推出 a(1 : n)=0, 
则 称 {a1,… ,an} 线 性 无 关 . 否则 有 a; 的 非 平凡 组 合 为 零 , 此 时 称 {a1,… ,an} 是 
线性 相关 的 . 

如 果 Rm 中 的 子 集 也 是 向 量 空间 ， 则 称 其 为 RT 的 子 空间 ， 任 给 一 组 向 量 
ai, ,Qn € R”, 这 组 向 量 的 所 有 线性 组 合 构 成 一 个 子 空间 , RA {a ,an} 的 
张 成 空间 : 

span{@1,... ,an} = {om :B € «| . 
j=l 
如 果 {a1,… ,an} 是 线性 无 关 的 且 b € span{a,,---,an}, W b 是 a, ,an 的 唯 
一 的 线性 组 合 . 

如 果 51,… ,Sk Æ R” 的 子 空间 ， 则 它们 的 和 是 由 S= {@i1 十 a2 十 … 十 Qk: 
a; € Si - 1: k) 所 定义 的 子 空间 ， 如 果 每 个 ve S 都 有 唯一 的 表示 方式 v = 
a, t: 04,0; € Si, WH S 为 直 和 , 在 这 种 情形 我 们 记 为 5 = 51 0---@ Sp. Si 
的 交集 S = Sn S2N---1S, 也 是 一 个 子 空间 . 
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如 果子 集 {ai,,… , ai.} 线性 无 关 且 不 是 {a1,… ,an} 的 任何 线性 无 关子 集 
的 真子 集 , 则 称 它 是 {a1,:… ,an} 的 极 大 线性 元 关子 集 . MR {an ,ais} 是 极 
大 线性 无 关子 集 , 则 span{a1,… ,an} = span{a;,,---,a:,} MH (a4, ,Qi]} 是 
spanfal,… ,an} 的 一 组 基 . 如 果 SCR” 是 一 子 空间 , 则 可 找到 线性 无 关 的 基 向 
量 ai,- ap € S, 满足 S = span{a1,… ak). 一 个 子 空间 S 的 所 有 基 都 有 同样 
多 的 元 素 . 这 个 数目 是 5 的 维 数 , 记 为 dim(S). 
2.1.2 tt, 零 空间 和 秩 

关于 mxn 矩阵 A 有 两 个 重要 的 子 空间 . 4 的 值 域 定义 为 

ran(A) = {y ER” : y = Az, 对 某 一 zw € R"}. 


A 的 零 空间 定义 为 
null( A) = {x € R” : Az = 0}. 


如 果 A= {a1,° It ,Qn| 是 一 个 列 划分 ， 则 
ran(A) = span{a1, ,an}. 
矩阵 A 的 秩 定义 为 
rank(A) = dim(ran(A)). 
可 以 证 明 rank(A) = rank(AT). 如 果 rank(A) < min{m,n}, 我 们 说 A e Rmxm 是 
秩 亏 损 的 . 设 A eR”, 则 
dim(null(A)) + rank(A) = n. 
2.1.3 ise 
nxn 单位 矩阵 In 是 由 列 划分 
In = ei. , €n] 
所 定义 , 其 中 e, 是 第 k 个 “典范 ”向 量 
Ek = (0, - tt ,0,1,0,--- ,0)7. 
i 
k-1 n-k 


坐标 向 量 在 矩阵 分 析 中 常常 用 到 , 当 维 数 不 明 显 时, 我 们 用 上 标记 号 , 即 eP ER, 
如 果 4 和 大 BER? BWR AX =I, N) X BA eM, BA AT. 
如 果 A-! 存在 , 则 称 4 为 非 奇异 的 , 否则 我 们 说 A 是 奇异 的 . 
逆 和 矩阵 的 一 些 性 质 在 矩阵 计算 中 起 重要 作用 . 乘积 的 道 等 于 逆 的 逆序 积 : 


(AB)! = B™'A™. (2.1.1) 
逆 的 转 置 等 于 转 置 的 道 ; 
(A1)? = (AT)?! = AT. (2.1.2) 


2. 线性 代数 初步 ”43 


恒等式 
BO =A'-~B(B-A)A" (2.1.3) 
表明 逆 的 变化 与 矩阵 变化 的 关系 ， 
Sherman-Morrison- Woodbury 公式 给 出 了 (A+UV") 之 道 的 一 个 方便 的 表达 
A 
(A-UVT)! —A"!—A "UG -VTA"U) I VTA, (2.1.4) 
其 中 Ac R”, U 和 V em, RNR k RU SRO k 的 变化 .在 
(2.1.4) 中 我 们 假定 4 M I+ VATU 都 是 非 奇 异 的 . 
上 述 事实 可 以 通过 示 接 验算 逆 和 矩阵 应 满足 的 条 件 来 证 明 . 例如 , 以 下 是 (2.1.3) 
的 证 明 : 


B(A'!-B^7(B-A)A') = BA! -(B- A)JA ! =]. 


2.1.4 行列 式 


设 4 = (a) e R”, 则 它 的 行列 式 是 det(A) = a. A € R?” 的 行列 式 可 由 
n—1 阶 行列 式 来 定义 : 


det(A) = Y (~1} + a; jdet(A:;). 


j=1 
这 里 Ay EM A 中 删 去 第 一 行 和 第 ; 列 后 所 得 到 的 (n - 1) x (n— 1) EE. 行列 
式 的 有 用 性 质 包 括 

det(AB) = det(A)det(B), A,B € R"*", 

det( AT) = det(A), Ae R™", 

det(cA) = c"det(.A), ccR,Acm?*", 

det(A) Z 0 & ARERR, Ae R™?. 


2.1.5 ”微分 


设 a 是 标量 且 Alo) 是 由 元 素 a; (o) 组 成 的 m x n WE, 如 果 对 一 切 i 和 j, 
anla) 都 是 可 微 函数 , 则 我 们 记 A (o) 为 矩阵 


A (a) = 2 (a) = (fao) = (à(2)). 
参数 化 矩阵 的 微分 对 研究 许多 矩阵 问题 的 敏感 度 是 很 方便 的 
习 H 
2.1.1 ”证 明 : 如 果 A c R” 的 秩 为 p, 则 存在 X c RP RY c R? 使 得 


A= XYT, 其 中 rank(X) = rank(Y) = p. 
2.1.2 ”假定 A(o) € R" 和 B(o) eR" 的 元 素 都 是 标量 o 的 可 微 函数 , 证 明 
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d 
Eta = | $4] Be) + aw [EB]. 
2.1.3 ”假定 A(o) E R"*" 的 元 素 都 是 标量 `a 的 可 微 函数 . 设 A(o) 对 一 切 o RTTA, 
证 明 
FIA] = (7 | 2 A(a)| A(97*. 


214 H AER”, DER" H os) = 527 Az — 27. HEB o HER Vole) = 
3(AT + A)a — b. 

2.15 ”假定 AM A cuv? 都 非 奇 异 , 其 中 AC R^" Hu, vc R^. 证 明 : WR a 是 
(A+ uvT)z = b 的 解 , 则 它 也 是 带 扰 动 右 端 项 问题 Ax = b+ ou 的 解 . 试用 A u 和? * 


达 o. 
本 节 注 释 与 参考 文献 


有 许多 线性 代数 入 门 教材 . 在 它们 之 中 , 下 面 这 些 是 特别 有 用 的 . 

P. R. Halmos(1958). Finite Dimensional Vector Spaces, 2nd ed., Van Nostrand-Reinhold, 
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2.2 向 量 范 数 


范 数 对 向 量 空间 的 作用 就 像 实数 轴 上 的 绝对 值 : 它 提供 距离 的 一 个 度量 . 更 确 
切 地 说 , R^ 与 其 上 的 一 个 范 数 定义 了 一 个 度量 空间 . 从 而 , 我 们 在 研究 向 量 及 向 量 
值 函 数 时 有 邻 域 、 开 集 、 收 敛 和 连续 性 等 熟悉 的 概念 . 


2.2.1 定义 
在 R^ 上 的 向 量 范 数 是 满足 如 下 性 质 的 从 R 到 及 的 函数 : 
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f (a) > 0, z € R'(f(z) = 034 HAV 4a = 0); 
flet+y)<f(e)+fy), x,y €R”; 
f(ax) = jal f(s), a ER, zeR”. 


记号 来 表示 此 本 数 f(z) = jel. 双 竖 线 的 下 标 用 来 区 分 不 同 的 
范 数 . 
一 类 有 用 的 向 量 范 数 是 p 范 数 , 其 定义 为 
lllo = (ax? + + en pel (2.2.1) 
其 中 最 重要 的 是 1 范 数 , 2 范 数 和 无 穷 范 数 
lalla = Imi] +--+ dsl 
llla = (il? +--+ + dna) = (wTx)?, 


lol = mex [xsl 


在 范 数 | I 意义 下 的 单位 向 量 是 指 满足 jel = 1 的 向 量 z. 
2.2.2 ”向 量 范 数 性 质 
XT op 范 数 的 一 个 经 典 结果 是 Holder FA 


lzrgl < (lellpllullas 5 + - =1. (2.2.2) 
它 的 一 个 非常 重要 的 特殊 情形 是 Cauchy-Schwartz 不 等 式 
lzTy] < lellallyll. (2.2.3) 


m^ 上 的 所 有 范 数 都 是 等 价 的 , 也 就 是 说 , WR | lla 和 I lls Æ R” 上 的 范 数 , 则 
存在 正常 数 c. 和 cs 使 得 


cillzlla < lalis < callalle (2.2.4) 
对 一 切 e e R^ 都 成 立 . 例如 , 如 果 s eR", WA 

lila < lila < vnilzlla, (2.2.5) 

Pehloo < {elle < vnilzlle, (2.2.6) 

ææ < [jal], < nilzllos. . (23.7) 


2.2.3 ”绝对 误差 和 相对 误差 
假设 和 e R” 是 g eR” 的 一 个 近似 . 对 给 定向 量 范 数 上 .小 我 们 称 
£abs = || — xl 


为 多 的 绝对 误差 . 如 果 x0, UAR 
lê — cil 


lel 


Erel = 
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为 他 的 相对 误差 . oo 范 数 意 义 下 的 相对 误差 可 以 换 成 全 具有 正确 的 有 效 位 数字 的 
说 法 . 例如 , 如 果 
| 他 一 2 
lzlloo 
则 2 的 最 大 分 量 至 少 有 大 约 p 位 正确 的 有 效 数字 . 

Bi 2.2.1 Jd» X x = (1.234,0.056 74)T, & = (1.235,0.051 28)T， 则 |j 一 
gllæ/llællo = 0.0043 = 10-73. i& €, £i 有 大 约 3 位 有 效 数字 是 正确 的 ， 而 如 
仅 有 一 位 正确 的 有 效 数字 . 

2.2.4 ”收敛 性 


如 果 


£ 10 7, 


lim |æ® — z|| = 0, 
k—00 


则 称 n 维 向 量 序列 {20} 是 收敛 的 . 从 (2.2.4) 可 知 , 由 在 a 范 数 意义 下 收敛 可 推 
出 在 8 范 数 意义 下 收敛 , 反之 亦 然 . 


J B 


2.2.1 ti ze 了 R", 证 明 jim, lllo = lizlie- 

2.2.2 “利用 不 等 式 0 < (az + by)T (az + by) 并 且 选 取 适 当 的 a M b, 证 明 Cauchy- 
Schwartz 不 等 式 (2.2.3). 

2.2.3 XE || - |l, lle ll llo 都 是 向 量 范 数 . 

2.2.4 ”证 明 (2.2.5)~(2.2.7), 间 何 时 这 些 等 式 成 立 ? 

2.2.5 ”证 明 在 R" $e? 一 z ERAR k=1:n 有 rË zi. 

2.2.6 ”通过 验证 不 等 式 | lzl — llyll | < le — yl 来 证 明 R^ 中 任何 向 量 范 数 是 一 致 连 
续 的 . 

2.2.7 B) ÆR” 上 的 向 量 范 数 且 A c R7*". 证 明 如 果 rank(A) — n, JU jela = 
|As 是 R 上 的 向 量 范 数 . 

2.2.8 Z æ,y cR”, ZX RR HBR yla) = e -ayle WHY E a= aTy/y"y 
时 达到 极 小 . i 

2.2.9 (a) 证 明 jjzlls = (ail? +--+ lanl)? 是 C 上 的 向 量 范 数 ，(b) 证 明 如果 
z € C" 则 ||zlls < c(l[Re(a)]lo-- llIm()llo). (c) 找 出 常数 cn 使 得 cn (JRe(z)llp+Im(z)llp) < 
1zlla 对 一 切 x € C^ 都 成 立 . 

2.2.10 ”证 明 或 举例 反 证 


v ER” = lvlhllvleo < VE VA loll. 
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虽然 向 量 范 数 “ 仅 仅 ”是 绝对 值 概念 的 推广 , 有 些微 妙 之 处 是 值得 注意 的 . 
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J. D. Pryce(1984). “A New Measure of Relative Error for Vectors”, SIAM J. Num. Anal. 
21, 202—221. 


2.3 和 矩阵 范 数 


分 析 和 矩阵 算法 时 常 需要 利用 矩阵 范 数 . 例如 , 线性 方程 组 的 解法 在 系数 矩阵 
“几乎 奇异 ”时 效果 可 能 很 差 , 为 了 量化 “几乎 奇异 ”这 一 概念 我 们 需要 矩阵 空间 之 
距离 的 度量 . 矩阵 范 数 提供 了 此 度量 . 

2.3.1 EX 


因为 Rex” 与 有 mn 是 同 构 的 , 矩阵 范 数 的 定义 应 等 价 于 向 量 范 数 的 定义 . 特 
别 地 , f: R™*” — R 在 满足 
f(A) 2 0, AcR"*^, (f(A) = 0 当 且 仅 当 4 = 0), 
f(A-B)«f(A) -f(B, A,Bemn", 
f(aA) = |a| f(A), a € R, A € R™", 


这 三 个 条 件 时 是 矩阵 范 数 . 与 向 量 范 数 一 样 , 我 们 用 带 下 标 双 竖 线 来 表示 和 矩阵 范 数 ， 
即 || All = f(A). 
在 数值 线性 代数 中 , 最 常用 的 矩阵 范 数 是 F 范 数 (Frobenius 范 数 ) 


Alle =, > la;;l? (2.3.1) 


ean WA 
Alle = sup Tele | 


注意 到 和 矩阵 p 范 数 的 定义 是 基于 上 一 节 所 讨论 的 向 量 p 范 数 , 验证 (2.3.1) 和 (2.3.2) 
是 矩阵 范 数 将 作为 一 练习 . 很 明显 , || All, 是 将 4 作用 到 p 范 数 单位 向 量 所 得 到 的 
最 大 向 量 的 p TH: 
xz 
(All, = sup |A (iar) 


重要 的 是 要 认识 到 (2.3.1) 和 (2.3.2) EXT RR, 例如 R? 上 的 2 范 数 与 
R5x6 上 的 2 范 数 是 不 同 的 函数 , 因而 , 很 容易 验证 的 如 下 不 等 式 


ABl, < lAllpllBlls, AeR""", BeR"* (2.3.3) 


实质 上 是 关于 三 种 不 同 范 数 之 间 关 系 的 结论 . 规范 地 说 , 如 果 对 所 有 A e gn 和 
B € R"*4 有 fi(AB) < fo(A)fs(B), 则 称 R=, RO AR 上 的 范 数 fa, fo 
和 fs 是 相互 相 容 的 . 


Al p 范 数 


(2.3.2) 


= max ||Azlly. 
came Mele 
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FF SE BTA EEG a I n] RE: 
| ABI| < |All Bil. (2.3.4) 
例如 , 设 || Alla = max |a; 和 


则 | 4 如 |A > [[AllallBla. 大 多 数 情形 下 , 我 们 研究 的 范 数 满足 (2.3.4). 

p 范 数 有 一 重要 性 质 , 即 对 任何 A cR” 及 zcR' Acl, < Alpe. 
更 一 般 地 , 对 m^ 上 的 任意 向 量 范 数 |- |. MR” 上 的 任意 向 量 范 数 ||- lls 有 
14zljis < ||Allea,¢: lela, 其 中 ||Alla,e 是 由 


Alla = sup rc (2.3.5) 


所 定义 的 矩阵 范 数 . 我 们 称 | - las 是 从 属于 向 量 范 数 | .je 和 I la 的 . 由 于 集合 
{z € R” : |x|, = 1) 是 紧 的 , 而 且 ||- |p 是 连续 的 , 故 有 


| Alas = max, || Aelia = I Az" llo, (2.3.6) 
对 某 一 a 范 数 单位 向 量 z* e R^ 成 立 . 
2.3.2 ”矩阵 范 数 的 一 些 性 质 


Frobenius 范 数 和 p TERR (特别 是 p = 1,2,o0) 满足 一 些 在 矩阵 计算 的 分 析 中 
常常 用 到 的 不 等 式 . 对 A e Rmx", 我 们 有 


i Alla < [Alle € vnl4ll， (2.3.7) 
max |a;;| < [Alla < Vmn max |aijl, (2.3.8) 
tJ $4 
TU 
|All: = mu. lass}, (2.3.9) 
| Alloo = me 2, [aij |; (2.3.10) 
1 
Fail Alles < ||All2 € v/ml Allee; (2.3.11) 
H 
Jm Ah < ||Alle < vall All. (2.3.12) 
BHACR™ 1 Si Si sm UARIIS A € ja n, W 
Ali : i2, 1 : Ja)\lp < IlAllp- (2.3.13) 


这 些 关系 式 的 证 明 不 难 , 均 留 作 习 题 . 
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如 果 lim (AC — All = 0, 则 称 序列 {A} e Rex acres. 范 数 的 选取 是 
FERRE, 过 是 因为 Ron 上 的 所 有 范 数 都 是 等 价 的 . 


2.3.3 ”和 矩阵 2 范 数 


和 矩阵 1 范 数 和 oo 范 数 的 一 个 良好 性 质 是 它们 可 从 (2.3.9) 和 (2.3.10) 容易 地 
计算 . 2 范 数 的 特征 要 复杂 得 多 . 
定理 23.4 设 AER"x", 则 存在 一 个 nn 维 2 范 数 单位 向 量 z, 使 得 AT Az = 
pz, EP w= ||Alle. 
WEBB ”假定 z e R" 是 使 得 Azle = Al: 的 单位 向 量 . 由 于 z 极 大 化 函数 
1hlAzl2 1zTA'Acx 
"3 2 ate 
WH Vg(z) = 0, 其 中 V, 是 9 的 梯度 . 详细 的 微分 计算 表明 , 对 一 切 i=1:n, 有 
p = |(zTz) (47 Aya; 一 aas / (zT zy. 


j=l 


利用 向 量 记号 和 Volz) = 0, 由 上 式 得 到 AT Az = (zT AT Az)z. & p = ||Azilo BH 
知 定理 成 立 . 口 

该 定理 表明 |A? 是 多 项 式 p(A) = det(ATA — Az) 的 零点 . 精确 地 说 , A 的 
2 范 数 是 ATA 的 最 大 特征 信之 平方 根 . 在 第 7 章 和 第 8 章 我 们 将 进一步 讨论 特征 
值 . 现在 , 我 们 仅 注意 2 范 数 的 计算 是 需要 迭代 而 且 肯 定 比 矩阵 1 范 数 或 co 范 数 之 
计算 要 复杂 . 幸运 的 是 , 如 果 目 的 是 得 到 |All. 的 数量 级 的 估计 , 则 可 利用 (2.3.7), 
(2.3.11) 或 (2.3.12). 

作为 “ 范 数 分 析 ” 的 例子 , 下 面 是 2 范 数 估计 的 一 个 巧妙 结果 . 

推论 2.3.2” 设 AeR"mx", 则 [Allo < VIAA- 

证 明 设 z 关 0 满足 A4TAz = pz, AP p= |All WA 


ial = LAT Azlh < IAT hAl = Allo Allllzs. 口 


2.3.4 ”扰动 与 逆 矩 阵 


我 们 常用 范 数 来 量化 扰动 的 影响 或 者 证 明 一 个 矩阵 序列 收敛 于 一 特定 的 极限 . 
作为 范 数 的 这 些 运用 之 一 例子 , 我 们 把 AC 的 变化 表示 为 4 的 变化 之 函数 . 
引 理 2.3.3 wR FER” B Fl, «1, A) I— F 3ES HIE. 


(I- F)~ yr 
而 且 


E 1 
II -F)*llp « I [Fi 


50 第 2 章 HH 


证 明 ”假定 了 -下 奇异 . 则 对 某 非 零 = 有 (I 一 下 z=0. 从 而 由 xj。=jjPzjl。 
可 推出 [Fl > 1, 矛盾 . 所 以 工 - F 非 奇异 . WARM RER, 考虑 恒等式 


N 
($) (I-F)=1- FNH, 
k=0 


EF |l, <1, A EN < FIH 可 知 im p = 0, 
FR 


N 
( lim yr)  - F)-I. 
N —oo ka 


N 
故 知 (I ~ FF) = dim $ ^F". AS ELE 
k=0 


_ pad = k 1 
IQ - Pl» < iT o 


注意 到 该 引 理 的 一 个 推论 是 1 一 FY! -Ilp < | Fllp/( — EI). TE, Be «1 
时 , PR O(c) 扰动 将 导致 其 逆 的 O(c) 扰动 . 我 们 把 这 一 结果 推广 到 一 般 和 矩阵 . 
定理 2.3.4 RAHA =A TE, <1, 8] A E PSHE (At 
E)! — A! < Elli A™ 18/0 — r) 
证 明 ”由 于 A 非 奇异 , A+ EB = AUI-F), 其 中 下 = -AE 因为 |Flls = 
r<1, 从 引 理 2.3.3 8 I- FP RHE |- F)! «1/0 —- 7). m (A E)! = 
(I—-F)-1A7*, 所 以 


(A+ By Mp < Ae. 


等 式 (2.1.3) 表明 (A+ E)! — A = -ACE(A + E). 因此 两 边 取 范 数 得 
(A + E) — A7! ll; < A" Holl Ellpll(A + E)" llo 


A ! |I Elp 
<! el le a 


3 HB 


2.3.1 EBA ABI» < (Alle Bllo, "P 1 « p< æ. 

2.820 € B 是 A MEM TER, 证 明 Blip < lAl 

2.8.8 ”证 明 ; 如 果 D = diag(m, ,px) € R77, k = min(m,n), N |D |lp = max|pi| 
2.3.4 证 明 (2.3.7) 和 (2.3.8). 

2.8.5 ”证 明 (2.3.9) 和 (2.3.10). 

2.3.6 ”证 明 (2.3.11) 和 (2.3.12). 


o OOA S 


2.3.7 ”证 明 (2.3.13). 
2.8.8 ”证 明 : MRoAs c R^, E cR”, m 


Ie 3x) 
2.3.9 łu cR” Ave R". 证 明 ; MR E= uv? 则 
[Elle = Ella = lellallvll2, Ell < lello fola. 


2.3.10 $ AcR'""",y cR" DX OZscR?^. EW E=(y—As)s'/s's 是 所 有 
WE (A+ E)s = y 的 具有 最 小 2 范 数 的 m x n EE. 


_ Esi 


2 
= [EJ . 
r |B llr — “SE, 
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2.4 有限 精 度 矩 阵 计算 


从 某 种 程度 上 数 , 正 是 舍 入 误差 使 得 矩阵 计算 这 一 领域 如 此 非 平凡 而 且 有 趣 . 
本 节 我 们 建立 一 个 浮 点 运算 的 模型 并 用 其 讨论 浮 点 的 点 积 、saxpy、 秆 阵 与 向 量 
HR, GE SREMRHREH. 如 需要 比 我 们 在 此 给 的 还 要 深入 的 处 理 ， 见 
Higham(1996) 或 Wilkinson(1965). Forsythe and Moler(1967) 以 及 Stewart(1973) 
的 讨论 也 是 很 精彩 的 . 
2.4.1 im 


在 计算 机 进行 计算 时 , 每 一 算术 运算 通常 都 被 合 入 误差 影响 . 此 误差 的 产生 是 
因为 机 器 硬件 仅 能 表示 实数 的 一 个 子 集 . 我 们 用 下 表示 该 子 集 且 称 它 的 元 素 为 浮 
点 数 . 按照 Forsythe, Malcolm, and Moler(1997, 第 10~29 页 ) 的 约定 ， 一 个 特定 的 
计算 机 上 的 浮 点 数 系 统 可 由 四 个 整数 来 刻画 : 基数 ,精度 t, 指数 区 间 [L,U]. 具体 
地 说 , F 由 所 有 形 如 

f=tdidg---d x B°,0Kda<6,d, 40, LsesU 
的 数 f 和 零 组 成 . 注意 对 非 零 了 € F, 我 们 有 m< [ti « M, 其 中 
m = 847) Al M = BY (1 - 87*). (2.4.1) 
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例如 , 如 果 8—2,t—3, L- 0 fI U = 2, UE 的 非 负 元 素 在 图 2.4.1 中 用 数 
轴 上 的 竖 线 所 表示 .注意 这 些 浮 点 数 并 非 等 从 分 布 . (0, t, L,U) 的 一 个 典型 取信 为 
(2,56, —64, 64). 


epe iti 


一 2 -1 -05 0 05 1 2 


图 2.4.1 浮 点 数 系统 例子 
2.4.2 ” 浮 点 运算 模型 


为 了 给 出 一 给 定 算法 中 合 入 误差 之 影响 的 一 般 性 结论 , 有 必要 给 出 卫 中 的 计 
算 机 运算 模型 . 为 此 , 定义 集合 G, 


G={reER:m<|z| < M}U {0}, (2.4.2) 
以 及 G 一 下 的 算 子 fl, 
pita) —.[ Sn c F, 当 c 不 叭 -时 
用 截断 方式 选取 
可 证 明 fl 算 子 满足 
fi(z)=x(1+e), |el <u, (2.4.3) 


其 中 u 是 单位 合 入 , 其 定义 为 
1 


u= 30 ^ (2.4.4) 

Ma 和。 是 任意 两 个 浮 点 数 且 用 “op” 表 示 四 种 运算 +,-,x,+ 中 的 任 一 
Fi, WE a op b € G, 则 在 我 们 的 浮 点 运算 模型 中 , 我 们 约定 (a op b) 的 计算 值 是 
用 (a op b). BATA fila op b) = (a op b)(1 + e), 其 中 le| cu. 于 是 

_ [fia op b) — (a op b)i 2i- £ op 5) <u, aopb#0. (2.4.5) 
这 表明 每 个 算术 运算 都 有 小 的 相对 误差 外, 但 是 , 当 涉 及 一 系列 运算 时 ， 情况 并 非 
如 此 . 

例 2.4.1 设 浮 点 运算 中 二 10,t 二 3, 则 fifl(10-4++1)-1]) 2 0 表明 相对 
误差 为 1. 另 一 方面 , 精确 答案 由 fl[f1(10~ 寺 1(1 一 1)) = 107* 给 出 . 故 知 , FH 
运算 并 不 总 是 可 结合 的 . 

如 果 a op bg G, 则 出 现 了 运算 违例 . 24 ja op b| > M XX Ja op b| « m 时 分 别 
称 为 上 混和 下 溢 . 处 理 此 类 情形 以 及 其 他 违例 情形 是 与 机 器 硬件 和 系统 有 关 的 . 


(D 有 些 重要 的 机 器 的 加 法 浮 点 运算 满足 flat b) = (1+ e1)a t (1 + ex)b, 其 中 Je], leal <a. 在 
这 种 机 器 环境 下 ,不等式 | fl(a + b) — (a + b)| < ula + b| PERE. 
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2.4.8 E 


有 限 精 度 运 算 的 另 一 重要 方面 是 灾难 性 相 消 现象 . 精 略 地 说 , 这 一 术语 是 指 用 
大 数 相 加 得 到 小 数 时 所 导致 有 效 位 数 的 大 量 失 去 . Forsythe, Malcolm and Moler 
(1977, 第 14~16 页 ) 给 出 的 一 个 著名 例子 是 用 Taylor 级 数 计算 。", HP a > 0. 此 
方法 的 合 入 误差 大 约 是 最 大 部 分 和 的 u 倍 . 对 于 大 数 a, 该 误差 实际 上 比 要 求 的 指 
He 还 大 , 因而 无 论 级 数 和 中 用 多 少 顶 , 计算 结果 中 都 没有 正确 的 有 效 数字 . 另 
一 方面 , 如 果 在 e 的 Taylor 级 数 中 有 足够 多 项 相 加 , 然后 求 其 倒数 , 则 可 得 到 满足 
精度 的 e 之 近似 值 . 


2.4.4 绝对 值 记 号 


在 讨论 一 些 基 本 算 阵 计算 的 舍 入 误差 分 析 前 , 我 们 先 熟悉 一 些 有 用 的 记号 . 设 
A e Rmx" 我 们 希望 把 它 的 浮 点 数 表 示 所 导致 的 误差 量化 . 记 4 的 储存 值 为 FA), 
可 知 对 所 有 1 和 j 都 有 


[flU(A)]ig = fl(aij) = ai (1-84), leul <u. (2.4.6) 


如 果 采 用 两 个 约定 则 可 得 到 一 更 好 的 方式 来 描述 此 结果 . VE 4 和 B 都 属于 RO, 
则 

B=|AS lo i=1:m, j=1:n 

B < A> bij < aij, i=i:m, j-—l:m. 


利用 这 些 记号 , 则 (2.4.6) 可 写成 
|fl(A) — Al < unlAl. 


这 样 一 个 关系 式 很 容易 变 成 范 数 不 等 式 , 例如 FKA) 一 Alh <ul[Ala. 但 是 , 在 量 
化 矩阵 运算 中 的 舍 入 误差 时 , 绝对 值 记号 比 范 数 更 有 信息 性 , 这 是 因为 绝对 值 记号 
对 每 一 个 (i, 7) 元 素 都 有 估计 . 

2.4.5 ”点 积 的 舍 入 误差 


我 们 以 考虑 标准 的 点 积 所 引起 的 舍 入 误差 来 开始 有 限 精度 矩阵 计算 的 研究 : 

s=0 

for k 2 1:n 

S = 8 + ThYk (2.4.7) 

end 
这 里 z 和 是 nx1 浮 点 向 量 . 

要 试图 量化 此 算法 的 合 入 误差 , 我 们 立刻 面临 一 个 记号 问题 : 计算 值 与 精确 值 
的 区 分 . 当 所 考虑 的 计算 很 明显 时 , 我 们 用 算 子 fl(.) 表示 计算 值 . 这 样 fl(m T y) 就 
表示 (2.4.7) 所 输出 的 计算 结果 . 我 们 来 估计 |f1(zTy) — oT y| 的 界 . 如 果 


54 第 2 章 EENH 


p 
Sp — fl (Ean) ; 
k=1 
WW $1 = zii (1 + ài), HF 0| € u, 而 且 对 于 p=2:n 有 
Sp= fl(sp-1- fl(zpyp)) 


= (sp-1 + spo(1 +8p))(1 + ep), Iph lep <u. (2.48) 
通过 简单 地 代数 运算 可 得 
Jil(lzTy) = sn = 》 teye(1 + 2); 
k=1 
其 中 . 
(+y) = (1+ 6) TIO +8), 
j=k 
这 里 利用 了 约定 si = 0. 于 是 
|fl(aty) — zT y| < DD lon yn |Yel- (2.4.9) 
k=1 


为 进一步 分 析 , 我 们 必须 用 来 给 出 |yx| 的 界 . 下 面 的 结果 对 此 是 有 用 的 . 


n 


818 2.4.1 SR (ita) = J] +a), 其 中 14] <u Anu < 0.1, H 


lal € 1.01nu. = 
WERA A, Higham(1996, p.75). Cl 
把 这 一 结果 用 于 (2.4.9) 且 做 “合理 ” BRE nu < 0.1, 则 得 到 
\fl(aty) — aT y| < 1.01nu|z|" |y]. (2.4.10) 


注意 , 在 lab y| < loll |y] 时 fl(zTy) 的 相对 误差 可 能 不 会 小 . 
2.46 ”量化 含 入 误差 的 其 他 方式 


估计 引 理 2.4.1 中 o 之 界 的 一 个 较 简单 但 不 太 精 确 的 方式 是 说 Jo] < mu 十 
O(u?). 利用 此 约定 , 我 们 有 


|fl(aTy) — a? y| < nujz|"|y| + O(u?). (2.4.11) 

表示 同样 结果 的 其 他 方式 包括 
Ift(z*y) — a7 y| < d(n)ula|*|yl, (2.4.12) 
[fl(a?y) — zT y| < cnula|"|yl, (2.4.13) 


其 中 (2.4.12) 中 的 (n) 是 n 的 一 个 “温和 ”函数 , (2.4.13) 中 的 c 是 一 个 量 级 为 1 
的 常数 . 
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我 们 对 (2.4.10) (2.4.13) 所 给 出 的 误差 界 形式 不 表示 任何 的 偏好 . 这 样 我 们 就 
不 必 将 文献 中 的 误差 分 析 结 果 改 写成 某 固定 形式 . ME, 过 份 关心 误差 界 的 细节 与 
舍 入 误差 分 析 之 “ 宗 则 ”是 不 符 的 . 正如 Wilkinson(1971, p.567) 所 说 : 

仍然 有 一 种 倾向 , 把 由 先 验 误差 分 析 所 得 到 的 精确 误差 界 看 得 过 重 . 依 我 之 见 ， 
界 本 身 通常 是 最 不 重要 的 .此 类 分 析 的 主要 目的 在 于 揭露 算法 中 可 能 存在 的 潜在 
不 稳定 性 , 从 而 希望 由 所 得 到 的 内 在 性 质 来 改进 算法 . 界 本 身 常 常 是 比 它 能 达到 的 
RER, 这 是 因为 需要 把 大 量 的 细节 限制 到 合理 的 水 平 , IE] 2 dei E 70 4B HT IE 
来 表示 所 带 来 的 局 限 性 . 一 般 来 说 , 先 验 误差 界 是 不 应 在 实际 中 用 的 量 ， 实 用 的 误 
差 界 常常 由 某 后 验 误差 分 析 决 定 , 因为 这 样 可 充分 利用 舍 入 误差 的 统计 分 布 和 矩阵 
的 特殊 性 质 , 如 稀 玖 性 等 . 

重要 的 是 我 们 要 牢记 这 些 观点 . 


2.4.7 ”点 积累 加 


有 些 计算 机 能 够 用 双 精 度 来 累加 点 积 . 这 就 是 说 , WR z My 是 长 度 为 t+ Æ 
数 的 浮 点 向 量 , W (2.4.7) 中 的 和 s 是 在 具有 2t MARR PA. 由 于 
两 个 上 位 的 浮 点 数 之 积 可 精确 地 用 双 精 度 变量 表示 , RAS s 写 回 到 单 精度 内 存 
时 才 产 生 舍 入 误差 ， 在 此 情形 下 , 常常 可 以 断言 计算 的 点 积 有 好 的 相对 误差 ， 即 
fl(zTy) = aT y(1+ 6), |6| e u. 因而, 累加 点 积 是 很 有 吸引 力 的 . 


2.4.8 ”其 他 和 矩阵 计算 中 的 舍 入 误差 
很 容易 证 明 , 如 果 A 和 BRE RE, a 是 浮 点 数 , 则 


fl(aA) =aA+E, |E|<ulaAl, (2.4.14) 
fl(A+B)=(A+B)+E, |E|<ujA+B\. (2.4.15) 
从 这 两 个 结果 很 容易 验证 计算 出 来 的 saxpy 和 外 积 修 正 满足 
fllax+y)=art+y+z, |z < ulaz] + ly) - Olu’), (2.4.16) 
fl(C +uvt) =C +u +E, [El < u(|C| + 2]uv7]) + O(u’). (2.4.17) 
利用 (2.4.10), 不 难 证 明 两 个 浮 点 矩阵 4 和 BB 的 基于 点 积 的 乘法 满足 
fl(AB)= AB+E, |E| &nu|A||B| + O(u’). (2.4.18) 


基于 gaxpy 以 及 基于 外 积 的 乘法 也 有 同样 的 结果 . 注意 , ERAT 2 
相对 误差 , 这 是 因为 |AB| 可 能 远 小 于 [A411Bl, 例如 


fo ollas ol sf 
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利用 到 上 自前 所 讨论 的 合 入 误差 结果 , 不 难得 到 一 些 范 数 界 . 如 果 我 们 考查 浮 点 矩阵 
乘法 的 1 范 数 误差 , 则 容易 从 (2.4.18) 证 明 
\|fl(AB) — AB] < nallAllBlh + O(v?). (2.4.19) 
2.4.9 ”向 前 误差 分 析 和 向 后 误差 分 析 
上 面 给 出 的 舍 入 误差 界 都 是 由 向 前 误差 分 析 所 导出 的 ， 另 一 个 刻画 算法 舍 入 
误差 的 方式 可 通过 称 之 为 向 后 误差 分 析 的 技巧 来 实现 . 在 此 情形 下 , 含 入 误差 是 关 
于 问题 的 数据 而 不 是 关于 解 . 作为 一 个 例子 , 考虑 n = 2 MZA ERR. 可 
以 证 明 : 
FAB) = | aubii(1- 61) (@11b12(1 + €2) + arzb22(1 + €3))(1 + €4) | 
0 a22022(1 + €5) 


其 中 je < w(i 21:5). 但 是 , 如 果 我 们 定义 


A=|™ ay2(1 + €3)(1 + €4) 
0 a22(1 + E5) 


B- bi(1-c 521) bi2(l +e€2)(1 + &4) 
E 0 b22 ? 
则 容易 证 明 fI(AB)= À B. mA 


Â —A- E, |E| «2u|A| + O(u?); 
B=B+F, |F| «2u|B| - O(?). 


换 句 话说 , 计算 的 乘积 是 稍 加 拢 动 后 的 A 和 B 的 精确 乘积 . 
2.4.10 Strassen 乘积 的 误差 


在 1.3.8 节 我 们 简 述 了 Strassen(1969) 提出 的 一 种 非常 规 的 矩阵 相 乘 方法 E 
较 该 方法 和 1.1 节 的 常规 徐 阵 相 姜 方法 之 合 入 误差 的 影响 是 有 益 的 . 

可 以 证 明 ，Strassen 方法 (算法 1.3.1) 产生 的 C = JAB) 满足 一 个 形 如 
(2.4.19) 的 不 等 式 ， 这 在 许多 应 用 中 就 是 够 了 . 但 是 ，Strassen 方法 所 产生 的 C 


并 不 总 满足 形 如 (2.4.18) 的 不 等 式 . 为 看 清 这 一 点 , 假定 
A-B- | 0.99 0.0010 | 


0.0010 0.99 
以 及 用 2 位 浮 点 运算 执行 算法 1.3.1. 其 中 , 算法 计算 下 列 值 : 


P, = f1(0.99(0.001 — 0.99)) = —0.98, 
B = f1((0.99 + 0.001)0.99) = 0.98, 
é1 = fl(P3 + Ps) = 0.0, 
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而 精确 计算 有 cio = 2(0.001)(0.99) = 0.0198, 所 以 , 算法 1.3.1 求 出 的 ai 没有 一 
位 正确 的 有 效 数 字 . Strassen 方式 在 此 例 中 有 麻烦 是 因为 非 对 角 线 元 素 小 而 对 角 线 
FORK. 注意 , 在 常规 的 矩阵 乘法 中 , bi 和 ba, ai. 和 aie 不 会 相 加 , 因而 小 的 非 
对 角 线 元 素 在 计算 中 不 会 被 忽视 . 事实 上 , HER 4 和 B, 常规 矩阵 乘法 将 给 出 
é12 = 0.020. 

不 能 按 元 素 准 确 地 算出 C, 这 在 一 些 情 形 下 是 非常 严重 的 缺陷 . 例如 , 在 Markov 
过 程 中 , oj, bi; 和 cu; 是 转移 概率 , 故 是 非 负 的 . 如 果 co 代表 所 考虑 问题 中 某 特别 
重要 的 概率 , 则 精确 地 计算 它 就 可 能 是 至 关 重要 . 注意 , WR A >0 和 B z 0, 则 常 
规 的 矩阵 乘法 计算 出 的 Ô 有 小 的 相对 误差 : 


I6 — C| € nal4lBI+oa2 = nulC| + OW). 


EAH (2.4.18) 得 到 . 此 关系 式 对 Strassen 方法 并 不 一 定 对 , 因而 对 于 非 负 矩阵 相 
乘 需要 比较 精确 计算 6, 时 , 算法 1.3.1 并 不 是 很 好 的 . 

从 上 面 讨论 延伸 , 我 们 得 到 两 个 很 显然 却 重 要 的 结论 : 

e 不 同 的 方法 计算 同一 量 可 产生 很 不 同 的 结果 ; 

。 一 个 算法 能 否 产 生 满 意 的 结果 取决 于 所 述 问 题 的 类 型 以 及 用 户 的 目标 . 

这 些 观点 将 在 后 面 的 各 章 中 予以 盖 明 , 它们 与 算法 稳定 性 和 问题 条 件 等 概念 是 
紧密 相关 的 . 


习 题 


2.4.1 ”证 明 , 如 果 (2.4.7) 应 用 于 y = m, 则 ji(zrz) = x z(14- a), K'f |o] 和 nu 
O(u’). 

2.4.2 WH (2.4.3). 

2.4.3 ”证 明 , 如 果 E € R?""(m > n), JU ||| Ell: < vn]Eljs. 此 结果 对 于 从 绝对 值 界 
导出 范 数 界 是 很 有 用 的 . 

2.4.4 ”假设 存在 一 平方 根 函 数 满足 SUVI) = VZ(L 十 e), 其 中 lel <u. 给 出 一 个 计算 
lizllz 的 算法 并 估计 误差 界 . 

2.4.5 BRAA BSE nxn 上 三 角 浮 点 阵 , WRC = fl(AB) 是 用 1.1 节 中 的 常 
规 算法 所 计算 的 , 问 是 否 有 C —AB, 其 中 4 B 分 别 靠近 AM B? 

2.4.6 BUE ARI B 是 nxn 浮 点 矩阵 , A 非 奇 且 满足 AA] =7. EA: 如 果 
€ = f(AB) 是 用 1.1 节 中 的 任何 算法 求 得 的 , WFE BRAC = ALB H |È -Blo < 
nurllBlle + O(u?). 

2.4.7 ”证 明 (2.4.18). 
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2.5 EX5 SVD 


ERE SOS ERE SERE RH. ESSE EE ZR 
有 用 的 奇异 值 分 解 (SVD). 除了 其 他 作用 , SVD 使 我 们 能 巧妙 地 处 理 矩 阵 秩 的 问 
题 . 秩 的 概念 , 在 精确 运算 下 虽然 十 分 清楚 , 但 在 有 售 入 误差 以 及 模糊 数据 情况 下 
就 很 复杂 了 . 利用 SVD, 我 们 可 以 引入 实用 的 数值 秩 的 概念 . 


2.5.4 IEZE 


如 果 对 任意 i Zj 都 有 ala; = 0, 则 一 组 向 量 {x1,… , zp} € Rm 是 正 交 的 . 
如 果 ola, = dy, 则 称 为 规范 正 交 . 直观 地 说 , 正 交 向 量 是 最 无 关 的 , 因为 它们 指向 
完全 不 同 的 方向 , 

R” 中 一 组 子 空间 $1,.… Sp 称 为 相互 正 交 的 , WRX ij A wTy = 0(z < 
Si,y €S;). 子 空间 S cR" 的 正 交 补 由 


St ={yeR™: yz — 0, Va € S} 


所 定义 , 不 难 证 明 ran(A)+ = null(AT). 如 果 向 量 v1,… , vp 规范 正 交 且 张 成 R” C 
中 的 子 空间 S, 则 它们 形成 S 的 一 组 规范 正 交 基 . 

WE Qe Rmxm 满足 QTQ =I, 则 称 其 为 正 交 的 . WR Q = [q ,qm] 是 
正 交 的 , 则 q, 形成 Rm 的 规范 正 交 基 . 总 可 以 把 一 个 基 扩 充 到 Rm 上 的 一 组 完整 
的 规范 正 交 基 . 

定理 2.5.1 AX Vi ER 具有 规范 正 交 列 , 则 存在 Va c R0- 使 得 


V=[V: Vo] 


是 正 交 的 . 注意 到 ran(Vi)+ = ran(V2). 
证 明 ”这 是 初等 线性 代数 的 基本 结果 , 它 也 是 我 们 在 5.2 节 中 给 出 的 QR 分 
解 的 一 个 推论 . D 
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2.5.2 ” 范 数 和 正 交 变换 


2 范 数 在 正 交 变换 下 是 不 变 的 , 这 是 因为 车 QIQ = 了 工 则 lz 用 = TOIQz = 
ate = zll2. 矩阵 的 2 范 数 和 Frobenius 范 数 关于 正 交 变换 也 是 不 变 的 . 特别 地 ， 
XT ESOS "A BIIEAOBEE Q 和 Z, 不 难 证 明 


|QAZ||r = ||Allr, (2.5.1) 


(QAZI = |lAlle - (2.5.2) 
2.5.3 BRASH 
上 两 节 介 绍 的 有 关 范 数 的 理论 可 用 来 证 明 极 其 有 用 的 奇异 值 分 解 . 
定理 2.5.2( 奇 异 值 分 解 (SVD)) 设 和 是 实 mxn 矩阵 , 则 必 丰 在 正 交 矩阵 
U = [u ,Um ER?” 和 V = [v Un] eR” 
使 得 
UT AV = diag(o,... ,0p) € R"*^, p=min{m, n}, 
HP 11 Son Boy BO. 
证 明 we R" My CR™ 是 满足 Az = oy(o = ||Allz) 的 2 范 数 单位 向 量 . 
从 定理 2.5.1 知 , 存在 V2 c R^X(^-D Al U e Rm), 88$ V = [m Va] e R"*^ 
HIU-|y Use R"*" 是 正 交 的 . 不 难 证 明 UTAV 有 如 下 结构 : 


T 
v'Av- | w ES 


«(Ez pt 


2 
我 们 有 LAB > (0? + wTw). 但 c? = AI = (A3, WYA w = 0. 用 很 显然 的 
归纳 法 即 可 证 明定 理 . 口 
o, 是 4 的 奇异 值 , 向 量 u 和 v; 分 别 是 第 i 个 左 奇 异 向 量 和 第 ;个 右 奇 异 向 
量 , 通过 比较 AV = US 以 及 ATU = VD 的 对 应 列 容易 验证 


由 于 


Av; = cjui 
i= Pith 上 tm 


ATu; = 04i 
采用 如 下 表示 奇异 值 的 记号 是 方便 的 : 
oi(4) = 4 的 第 ;大 奇异 值 ， 


Omax(A) = 4 的 最 大 奇异 值 ， 
omin(4) = 4 的 最 小 奇异 值 . 
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矩阵 A 的 奇异 值 正好 是 由 E={Ac: |xl2=1} 所 定义 的 超 椭圆 体 E 的 半 轴 之 长 . 
例 2.5.1 


A= 0.96 1.72 
2.28 0.96 


_ [06 -08 3 0 08 06 ] 
0.8 0.6 0 1 06 -0.8 | ` 


SVD 深刻 揭露 了 矩阵 的 结构 . 设 A 的 SVD 由 定理 2.5.2 给 出 , 我 们 由 


| -UxV?t 


012: Or > Orgi = 1+ = Op =O 
定义 7, 则 
rank(A) — r, (2.5.3) 
null(A) = span{v;+41,--- , vn], (2.5.4) 
ran(A) = span{u,--: , Ur}, (2.5.5) 
并 且 有 SVD 展 开 
A= Y oiv]. (2.5.6) 
i=l 
许多 2 范 数 和 Frobenius 范 数 性 质 与 SVD AX. 设 A e R^, 则 
|| All? 一 0 十 .十 02， p=min{m,n}, (2.5.7) 
[Alla = 01, (2.5.8) 
mip SE = on (m>n) (2.5.9) 
2.5.4 Zi SVD 
W A-UXVTcR?"""4 AÍSVD.Hm2 n. M 
A-U,ZiVT, 
其 中 


Uy = U(:,1:n) = [u y un] € R™”, 
Ey = X(1:n,1:n) = diag(oi,--- ,on) € R”. 
我 们 把 这 个 常用 的 SVD 的 缩小 形式 称 为 细 SVD. 
2.5.5 ” 秩 亏 损 与 SVD 


SVD 最 有 价值 的 方面 之 一 是 它 帮 我 们 很 好 地 处 理 矩阵 秩 的 概念 . 线性 代数 中 
的 许多 定理 具有 形式 :“ 如 果 这 样 那样 的 一 个 矩阵 满 秩 , 则 这 样 那样 的 一 个 性 质 成 
立 .” 这 类 结果 虽然 简洁 和 优美 , 但 出 现 几 乎 秩 亏 损 时 不 能 帮助 我 们 解决 所 碰 到 的 
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数值 困难 . 舍 入 误差 和 模糊 数据 使 得 秩 的 确定 很 困难 . 事实 上 , 对 很 小 的 e, 我 们 可 
能 对 矩阵 的 e 秩 感 兴趣 , 其 定义 为 


rank(A,e)= | min rank(B). 
lA4-Bllage 


这 样 , 当 实 验 室 得 到 的 4 的 每 一 元 素 a; 具有 精度 +0.001 ET, 考查 rank(A, 0.001) 
就 是 很 合理 的 .基于 同样 的 考虑 , 设 4 是 mxzm 浮 点 矩阵 , 当 rank(4,s) < min{m,n} 
(c = ul Alla) 时 , 则 可 认为 A ERREA. 

数值 秩 气 损 和 e 秩 由 SVD 很 好 地 刻画 , AA AT eH ee ee EG 
其 秩 低 的 矩阵 之 靠近 程度 . 

定理 2.5.8. 设 4ERRmxnm 的 SVD 由 定理 2.52 给 出 . de X k « r — rank(A) 
且 


k 
Ak = yet, (2.5.10) 


则 


lA- Blo = |A — Axlle = ori (2.5.11) 
rank(B)= =k 


证 明 mF UT A.V = diag(oi,--- ,o%,0,--- ,0), JA rank(A,) = k A UT(A-— 
Ax)V = diag(0,--- 0,041, 7:,05) 可 知 A — Aula = ons. 

现 假定 对 某 一 B eR” 有 rank(B) = k. 则 存在 规范 正 交 向 量 £1, muc 
使 得 null(B) = span{z1,… ;Zn-k}. 利用 维 数 可 知 


span(zi,--: ,2n 1 站 span{fol…… , 9x41) Æ (0). 


4 z 是 这 一 交集 中 的 一 个 单位 2 范 数 向 量 . 利用 Bz =0 和 
k+l 


Az = 》 olv] z)ui, 


i=1 


我 们 有 


天 十 1 
|A- B|? > ||(A — B)zl = || Azli} = Slot wiz)? > oky 
t=1 
于 是 定理 得 证 . M 
定理 2.5.3 表明 A 的 最 小 奇异 信 是 从 A 到 所 有 秩 气 损 矩 阵 集 合 之 2 范 数 距 
离 . 还 可 知 有 mxn 中 满 秩 矩 阵 的 集合 是 开 的 而 且 是 稠密 的 . 
最 后 , 如 果 re = rank(A, e), W) 


O12 S Orn, > EÈ Ore 41 Z tt Z Op, p — min{m, n}. 


在 5.5 节 和 12.2 节 将 进一步 讨论 数值 秩 . 
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2.5.6 Pasa 


在 复数 域 上 ,对 应 于 正 交 矩阵 的 是 西 矩 阵 ， 确 定 地 说 , 如 果 Q c Cnxn 满足 
Q*Q = QQ" = 则 称 其 为 西 矩 阵 . 西 矩阵 保持 2 范 数 . 复 矩 阵 的 SVD 涉及 西 算 
Re. 设 A e Cmx", 则 存在 西 逢 隆 U e Cnxm 和 Ve c 使 得 


UP AV = diag(o1,... ,0p) € R?*^, p=min{m,n}, 


其 中 oa Bon B+: Bop 20. 
3j i 


2.5.1 ”证 明 : WES 是 实 的 且 ST =-S, N I- S 是 非 奇 异 且 和 矩阵 (I - S)1+S) 
是 正 交 的 . 这 称 之 为 S 的 Cayley RR. 

2.5.2 ”证 明 一 个 正 交 的 三 角形 矩阵 必 是 对 角 的 . 

2.5.3 ”证 明 : 设 Q1,Q2 c R^ H Q =Q +iQ, RBG, JU] 2n x 2n RHE 


Z- | Qi -Q> | 
Qe Q, 
JÉ1EAERS. 
2.5.4 ”证 明 (2.5.3) (2.5.9). 
2.5.5 ”证 明 
= max y Az . 
yer™ en |illallyll 


Omax(A) 


2.5.6 X T2x25BRBR A= | H . | 导出 依赖 于 w, xz,y 和 z 的 表达 式 omax(A) 和 


Omin(A). 
2.5.7 ”证 明 R” 中 任何 矩阵 都 是 满 秩 和 矩阵 的 极限 . 
2.5.8 ”证 明 , 如果 A c Rmx" KRW n, 则 ||A(ATA) AT] = 1. 
2.5.9 “什么 矩阵 是 在 Frobenius 范 数 意义 下 最 靠近 


的 秩 1 矩阵? 
2.5.10 ”证 明 : WẸ AER”, M] Alle < rank(A)||Allo, 因而 将 (2.3.7) 加 强 了 . 
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Mirsky Approximation Theorem,” Lin. Alg. and Its Applic. 88/89, 317—328. 

G. A. Watson(1988). “The Smallest Perturbation of a Submatrix which Lowers the Rank 
of the Matrix,” IMA J. Numer. Anal. 8, 295-304. 


2.6 ”投影 与 CS 分 解 


如 果 计 算 的 任务 是 求 一 个 矩阵 或 一 个 向 量 , 则 范 数 在 判断 答案 的 精度 或 者 是 度 
量 迭代 的 进程 中 是 有 用 的 . 如 果 计 算 的 任务 是 求 一 个 子 空间 , 进行 类 似 的 判断 和 度 
量 就 需要 量化 两 个 子 空间 的 距离 . 关于 这 方面 , 正 交 投影 尤为 重要 . 给 出 基本 概念 
之 后 我 们 将 讨论 CS SHIR. 这 是 一 类 似 于 SVD 的 分 解 , 在 比较 两 个 子 空间 时 很 方 
便 , 我 们 从 正 交 投 影 的 概念 开始 . 
2.6.1 正 交 投影 

设 9 c Rnxn 是 子 空间 , 如 果 P c Rn"xm 满足 ran(P) = S, P = P Al 
PT = P, 则 称 PP 是 向 S 上 的 正 交 投影 . 从 定义 容易 得 知 , WR x ER”, 则 Pzes 
H(I-P)eeS-. 

如 果 P, 和 P. 都 是 正 交 投 影 , 则 对 任何 c RU 

\|(P1 ~ P2)zl2 = (Piz)? — P2)z + (Paz)! (I ~ Pi)z. 

如 果 ran(Pi) = ran(P2) = S, 则 上 式 右 端 项 为 零 ， 故 知 一 个 子 空间 的 正 交 投影 
是 唯一 的 如果 V = [v1,… vx] 的 列 是 子 空间 S 的 一 组 规范 正 交 基 ， 则 容易 证 
明 P = VVT 是 向 S 上 的 唯一 的 正 交 投影 . 特别 地 , 如 果 非 零 向 量 v ER”, 则 
P=vv'/v'v 是 向 S = span{v} 的 正 交 投影 . 
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2.6.2 SVD 相关 的 投影 


有 几 个 重要 的 正 交 投 影 与 奇异 值 分 解 有 关 . HRASUSVITCR™ 是 4 的 
SVD H r=rank(A). WRU AV 的 分 划 为 
U=(U, U,], V-[V. V.] 
T OT 一 个 T 也 一 也 
则 
V.VI 是 向 null(4)+ = ran(4T) 上 的 正 交 投 影 . 
V.V. EH null(A) 上 的 正 交 投影 . 
UwUT 是 向 ran(A) 上 的 正 交 投影 . 
vo, 是 向 ran(A)+ = null(A)T 上 的 正 交 投影 . 
2.6.3” 子 空 间 之 间 的 距离 


子 空间 与 正 交 投 影 的 一 一 对 应 使 我 们 能 导出 子 空间 之 间距 离 的 概念 . 设 Sy 和 

S, 是 R” 中 满足 dim(51) = din(52) 的 两 个 子 空间 . 我 们 定义 这 两 个 子 空间 之 距离 
为 

dist(S1, $3) = |. P3 一 Palle, (2.6.1) 


其 中 P; 是 向 S; 上 的 正 交 投影 . 两 个 子 空间 的 距离 可 以 用 某 正 交 和 矩阵 的 分 块 来 刻 
Hi. 
定理 2.6.1 设 
W=(Wi W},  Z-[Z, Z2] 
k n-k k n-k 
MRA nx n iE AERE, 如 果 5S1 — ran(W1) 和 52 — ran(Zi), Rl 
dist(S1, $3) = |WT Zalle = ||Z7 Walle. 
证 阴 
dist(S1, S2) = |W1WT — Z:Z1 lo 
= |W (Wiwy — ZiZ1)Z ll 


7 | 0 W122 
i} -wiz, 0 


注意 到 WIZ, 和 WITZ. BERS 


ga | Qu Qn |_| WiZ WiZ: | rz 
Qi Qz W321 W222 


的 子 矩 阵 . 我 们 需要 证 明 |Qull = 上 Qi2ll2. 由 于 Q IEAM, 故 知 


z | | Quz 
e|; lez]. 


2 
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BR 
l= Qi. 2/3 + lQ. 
对 RR* 中 所 有 单位 2 TERI o 都 成 立 . 于 是 
Qaid — max, Qael} = 1— min Qual 
=1- Omin(Qy1)” ， 
类 似 地 , 讨论 CT7( 也 是 正 交 矩 阵 ), 可 以 证 明 
IQI, 3 = 1- Tmin), 
因而 
(Qi2ll2 =1- Cuin (Q31)?. 
所 以 IQ» lla = Qralle. a 
注意 , 4S. AS 是 R" 中 同 维 的 子 空间 时 , 由 有 
0 < dist(51, 52) <1. 
上 式 当 5, = So 时 左边 等 号 成 立 , 24 S10 St A (0) 时 右边 等 号 成 立 . 
对 上 面 给 出 的 Q 矩阵 进行 分 块 形式 的 更 精细 分 析 , 有 助 于 更 深入 了 解 子 空间 
之 距离 . 这 需要 对 正 交 矩阵 进行 特殊 的 SVD 型 分 解 . 
2.6.4 CS 分 解 
正 交 矩阵 划分 成 的 2 x 2 块 与 SVD 密切 相关 . 这 是 CS 分 解 的 基本 点 . 我 们 先 
证 明 一 个 很 有 用 的 特例 . 
定理 2.6.2 (CS 分 解 ( 细 形 式 )) FRE 
Q = | o. | E Q: € RN, Q; € Rr, 


其 中 mnm 2on. dk Q 的 列 是 规范 正 交 的 ， QE RR U, c R™*™, 
U, E R™*™ fa Vi ER”, 使 得 


[5 eT fe ]e- [5]. 


C = diag(cos(6,),-++ ,cos(8n)), 
S = diag(sin(61),--- , sin(0,)), 


其 中 


0< & «6 € «6 ES 


证 明 HF IQ l< Qllz =1,Q1 的 奇异 值 都 位 于 [0, 1] RMA, > 
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UTQ,V; = C = diag(c1,.… ,cn) = | 4 ; | mt 
t nt 
是 Q, 的 SVD, 其 中 
l= == C> C41 2+: Sen BO. 
为 完成 定理 之 证 明 我 们 需要 构造 正 交 矩阵 Us. 如 果 


Q.Vi1 =([ Wi W2 |, 
t n-t 


T I, 0 
0 In; Q; Wi; W2 


由 于 此 和 矩阵 之 列 向 量 都 是 2 范 数 单位 向 量 , Wi = 0. 因为 


则 


WIW:;-I,4- ETE = diag(1 —c?,,,--+ 1-3) 
EAR, 所 以 W 的 列 向 量 非 零 且 相互 正 交 . 对 上 =1:n 令 sk = Vi 一 cx, 则 
Z=W2e diag(1/sr41,::- 1/84) 


的 列 向 量 是 正 交 的 . 利用 定理 2.5.1 知 存在 正 交 矩阵 U, € Rm 使 得 U2(:, t--1: 
n) = Z. 容易 证 明 
UIQ,V,- diag(s1,... , Sn) = S. 


由 于 对 1:n 都 有 02 + sz = 1 这 些 量 正 是 所 需要 的 余弦 值 和 正弦 值 . a 
用 同样 的 技巧 可 证 明 如 下 更 一 般 的 分 解 结 果 . 
定理 2.6.3 (CS 分 解 (一 般 形 式 )) wR 


_ | Qu| Quz 
2- | 2 Qz | 
是 nxn 正 交 阵 的 任意 2 x 2 分 划 , 则 存在 正 交 阵 


[88] [88] 


使 得 
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UTQV = 


> ott OS CO 


I 
0 
0 
0 
0 
0 


om ojs 002 


0 
0 
0 
I 
0 
0 


Mo Olea o o 


0 0 
其 中 C = diag(c1,--- ,cp),S = diag(s sp) EO «essi <1, +s? =1i=1: 
p). 
证 明 ”详细 证 明 可 见 Paige and Saunders(1981). SSE MM #R AA. 这 
些 零 子 矩 阵 有 些 可 能 是 空 的 . 口 
此 分 解 传递 的 重要 信息 是 , Q, 的 SVD 分 解 是 密切 相关 的 . 
例 2.6.1 32% 
一 0.7576 0.3697 
一 0.4077  —0.1552 
Q= | —0.0488 
一 0.2287 0.0088 
0.4530 0.5612 


是 正 交 矩 阵 , 它 在 上 面 的 划分 下 可 化 成 
0.9837 0.0000 

0.0000 0.6781 

UTQV = | 0.0000 0.0000 

0.1800 0.0000 

0.0000 0.7349 


这 些 余 弦 值 及 正弦 值 所 对 应 的 角度 在 许多 应 用 中 是 很 重要 的 . 见 12.4 Y. 


0.3838 0.2126 —0.3112 
—0.1129 0.2676 0.8517 
—0.6730 —0.1301 0.0602 
0.2235 0.2120 
0.5806 0.1162 0.3595 


0.1800 — 0.0000 0.0000 
0.0000 — 0.7349 0.0000 
0.0000 1.0000 | 
—0.9837 — 0.0000 0.0000 
0.0000 —0.6781 0.0000 


3] 题 


2.6.1 iE: 如 果 P 是 正 交 投影 , 则 Q = 工 - 2P 是 正 交 的 . 

2.6.2 ” 正 交 投影 的 奇异 值 是 什么 ? 

2.6.8 tS, span(z) 和 S2 =span{y}, IF s M y 都 是 R? 中 的 2 范 数 单位 向 量 . 
只 用 dist(-,-) 的 定义 证 明 dist(51, S2) = Vi 一 (zTy)3, 从 而 验证 51 Se 的 距离 是 ec Sy 


之 闻 夹 角 之 正弦 . 
本 节 注释 与 参考 文献 


下 面 文章 讨论 CS 分 解 的 不 同性 质 : 
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C. Davis and W. Kahan(1970). “The Rotation of Eigenvectors by a Perturbation III,” SIAM 
J. Num. Anal. 7, 1-46. 

G. W. Stewart(1977).“On the Perurbation of Pseudo-Inverses, Projections and Linear Least 
Squares Problems,” SIAM Review 19, 634-662. 

C. C. Paige and M. Saunders(1981). “Toward a Generalized Singular Value Decomposition,” 
SIAM J. Num. Anal. 18, 398-405. 

C. C. Paige and M. Wei(1994). “History and Generality of the CS Decomposition,” Lin. 
Alg. and Its Applic. 208/209, 303-326. 
一 些 计算 细节 可 参阅 8.7 35. 
关于 CS 分 解 以 及 子 空间 距离 的 深入 的 几何 解释 可 见 : 

T. A. Arias, A. Edelman, and S. Smith(1996). “Conjugate Gradient and Newton’s method 
on the Grassman and Stiefel Manifolds,” to appear in SIAM J. Matrix Anal. Appl. 


2.7 ”正方 形 线性 方程 组 的 敏感 性 


现在 我 们 用 以 上 各 节 给 出 的 工具 来 分 析 线 性 方程 组 Ar = b, 其 中 Aem 
是 非 奇 异 的 , b c R^. 我 们 的 目的 是 研究 对 A 和 b 的 扰动 如 何 影 响 解 c. 更 详细 的 
讨论 可 见 Higham(1996). 
2.7.1 SVD 分 析 

如 果 A HY SVD 为 


n" 
A=) lou? =UEV", 
t=1 
则 
ulb 


u 


n 
z—Ab-(UEVT)b-M. 


i=1 

这 个 展开 式 表明 , 24 on 很 小 时 , 4 或 5 的 微小 变化 可 导致 m 较 大 的 变化 . 

只 要 我 们 温习 定理 2.5.3 所 说 , on 是 4 到 奇 导 矩阵 集 的 距离 , o7, 的 大 小 会 影 
响 Aa = 的 敏感 性 , 这 就 不 足 为 奇 了 . “RBM RARER, 从 直观 上 可 
明显 看 出 , 解 x 将 对 扰动 更 加 敏感 . 
2.7.2 条件 

线性 方程 组 敏感 性 的 一 个 精确 的 度量 可 通过 研究 带 参数 方程 组 

(AteF)z(e)=b+ef, 2(0)=2 | 

得 到 , 其 中 Pe Rnxn, fem. 如 果 4 非 奇 异 , 则 很 明显 z(e) 在 零 的 一 个 邻 域 里 
是 可 微 的 , 而 且 , 2(0) = Af- Fe]. FÆ, z(e) 的 TayLor 级 数 展开 具有 形式 


r(e) = x + e&(0) + O(e?). 
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用 任 一 向 量 范 数 以 及 相应 的 矩阵 范 数 可 得 


fee) al e epa (EL + 1} + oc. (2.7.2) 
对 于 方 阵 A, 条 件数 k(A4) SEXUS 
«(A) = All| AW", (2.73) 
4 A 奇异 时 (A) 为 co. 从 不 等 式 (2.7.2) 和 jol < (Allel 可 得 到 
I < «(Apa + p) +O), (2.7.4) 
其 中 
nce xp nci 


分 别 表示 A 和 b 的 相对 误差 . 所 以 , z 的 相对 误差 可 能 是 (A) RA AL b 的 相 

对 误差 . 在 这 个 意义 下 , 条 件数 (4) 量化 了 问题 Ar = b 的 敏感 性 . 
注意 到 «C) 取决 于 所 用 的 范 数 以 及 所 对 应 的 下 标 , 例如 

eA) 


(4) = Alella = SUD. (27.5) 
因此 , 矩阵 4 的 2 VELA EE REMA {4z : ell = 1) 的 伸 长 . 
我 们 给 出 条 件数 的 另外 两 个 特征 . 对 于 p 范 数 条 件数 , 我 们 有 
l mim lA (2.7.6) 


KA) | AAA 奇异 lA» ` 
此 结果 可 见于 Kahan(1996), 它 表明 kA) 度量 了 从 A 到 奇异 矩阵 集 之 的 相对 p 
范 数 距离 . 
对 任 一 范 数 , 我 们 还 有 
K(A) = lim su KA-AA^7-A"l 1. 
*^0 A All<e|lAll € lA" I| 
此 重要 结果 仅仅 表明 条 件数 是 映射 4 — 4-! 的 规范 化 的 Frechet 导数 . 更 详细 的 
讨论 可 见 Rice(1966b). 值得 提醒 的 是 , 我 们 是 通过 微分 来 导出 <(4) 8. 
如 果 (A) 大 , 则 称 4 是 病态 矩阵. 注意 此 性 质 是 依赖 于 范 数 的 ”. 但 是 , RO 
上 的 任意 两 个 条 件数 kal) 和 aC) 都 是 等 价 的 ， 即 能 找到 常数 c! 和 co 使 得 
Cikal A) < ro(A) < cara(A), AER". 


例如 , 在 R^*^ 上 我 们 有 
(D 也 是 依赖 于 “大 ”的 定义 ,这 将 在 3.5 节 中 讨论 ， 


(2.7.7) 
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Tra(A) < ma(4) < nka(A)， 
Tnoo(A) < ga(A) < ns (A), (2.7.8) 


gm) € Ko, (A) < n?«1(A). 


于 是 , 如 果 一 个 矩阵 在 o 范 数 下 是 病态 的 , WEE 6 范 数 意义 下 以 上 述 常数 cy 和 
ca 为 权 是 病态 的 . 

对 任何 p 范 数 , ep(4) > 1. 条 件数 小 的 矩阵 称 为 良 态 的 . 在 2 范 数 意义 下 ， 正 
KERRE, 因为 对 正 交 和 抢 阵 Q, 有 sa(@) = 1. 


2.7.3 ”行列 式 与 靠近 奇异 的 程度 


考虑 行列 式 大 小 度量 病态 的 好 坏 是 很 自然 的 ， 如 果 det(4) = 0 等 价 于 奇异 ， 
det(A) = 0 是 否 等 价 于 靠近 奇异 ? 不 幸 的 是 , det(A) 和 Ar = b 的 条 件数 几乎 没 什 
ARR: 例如 , SERE 


1 -1 -1 
0 1 -— -1 

B= |.. . _ | eR™” (2.7.9) 
0 0 "m 1 


的 行列 式 为 1 但 (As) = 2271. 另 一 方面 , 一 个 非常 良 态 的 矩阵 的 行列 式 可 能 
很 小 . 例如 ， 
D, = diag(10~',--- ,107') e R”*” 


满足 (Dn) = 1, 但 det(D,) = 107^. 
2.7.4 ”一 个 精确 的 范 数 界 


EA (2.7.4) 之 推导 是 有 价值 的 , 因为 它 揭露 了 «(A4) 与 z(e) TE e = 0 处 的 变 
化 率 之 间 的 关系 . 但 是 , 稍微 不 足 的 是 它 基 于 < 是 “足够 小 ”, 而 且 对 O(e?) 项 之 大 
小 没有 阐明 . 在 本 节 与 下 一 节 我 们 讨论 一 些 非 常 精确 的 Az = b 之 扰动 定理 . 

首先 , 我 们 证 明 一 有 用 的 引 理 , 它 用 kA) 表明 什么 情况 下 一 个 扰动 方程 组 仍 
是 非 奇异 的 . 

引 理 2.7.1 假设 


Ax =b, AcR"^, 0zxbeR”", 
(A+ AA)y=b+Ab, AAER™", AbcR^, 


HP [AA < ellAll fe Abl < ellbll. eR ex(A) =r <1, MA+AA FHS 


luli l+r 
lel 5 1-7 
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证 明 ”由 于 || AAAI. < eA"! Al = r « 1, 从 定理 2.3.4 Al (A+ AA) 3E 
奇异 . 利用 引 理 23.3 和 等 式 (I+ AAA) = z + A! Ab, 我 们 发 现 


| 
rial): 


(le + rle). n 


ll IE + A7 A 47 Kel + el A? HII) 
< (lel + el A-le) = 


因为 Ibl = Az] < Allel, 故 知 


llyll < 


现在 我 们 给 出 Ax = b 的 一 个 精确 的 扰动 界 . 
定理 2.7.2 ”如 果 引 理 2.7,1 中 的 条 件 满足 , 则 


ly «l| . 2c 


ip Sin (2.7.10) 
证 了 明 ”由 于 
y-z-A' !Ab- AAAY, (2.7.11) 
RNE lly - «l| < el A^" llb] + el A M ATH 于 是 
< OFAN + tal 
«est (14 +15) = 2 (A) ü 


2.7.1 WM Ar=6 


1 0 Zi E i 
0 1079 || za | | 10-6 
之 解 为 x= (1,1) 且 条 件数 foo(A) = 10% 如 果 Ab = (105,07, AA — 0 E 


(A+ AA)y = b+ Ab, A| y = (1+ 1075, 1)T, 此 时 不 等 式 (2.7.10) 为 


læ ~ yli |. Able 
liwlloo | 


因此 , (2.7.10) 的 上 界 可 能 是 扰动 所 导致 的 误差 之 非常 粗 的 过 高 估计 . 另 一 方面 , 如 
X ^b-(10,10-9)7, AA—- 0 E. A + AA)y =b + Ab, 则 不 等 式 (2.7.10) 为 


1079 = « Koo(A) = 10 $108 = 1. 


D < 2 x 1075106, 


所 以 , 有 扰动 使 (2.7.10) 的 界 基本 上 可 以 达到 、 
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2.7.5 一些 关 于 分 量 的 精确 界 


我 们 以 证 明 对 于 分 量 扰动 界 存在 更 精细 的 扰动 理论 来 结束 本 节 . 这 需要 利用 
绝对 值 记号 . 
定理 2.7.8 设 


Az = b, AcR^*n, 0ZzbcR»^, 
(A+AA)y=b+Ab, AAER™", ABER", 


AA AAI < ell Al] $ Abl] < eljbl|. 如 果 exc (A) =r <1, W (A+AA) 非 奇异 
.H. 

lu 一 Ze 2e 

ER < 这 


144Il。 


证 明 ”由 于 |A4ll。 < ellAllos 和 Ablo < Elbl 913 2.7.1 的 条 件 在 oo 
范 数 下 是 满足 的 . 于 是 ALAA AHA 
lylo -1+r 


x . 
lIzlloo B l-r 


利用 (2.7.11) 我 们 发 现 
ly — æ} < |A Ab] + [A ||A Allyl 
< e| A^! ||b| + ej A! || Ally] € el ATHA] (æl + Iyl). 
两 边 取 范 数 , 则 有 


ly - les < eA" I Als (tle + Flee) 


不 等 式 两 边 同 除 以 elo 即 得 到 定理 . n 

我 们 把 量 (|AT|Allloo 称 为 Skeel 条 件数 . 它 对 几 个 重要 的 线性 方程 组 计算 的 
分 析 非 常 有 用 . 见 3.5 节 . 

BUG, 我 们 介绍 Oettli and Prager(1964) 的 结果 , 它 指明 什么 情形 下 n xn A 
EA Az = b 的 一 个 近似 解 2 c R^ 满足 给 定 结构 的 扰动 方程 组 ， 特 别 地 , 假设 
EcR^*^ 和 了 e Rn 给 定 且 它 们 的 元 素 非 负 . 我 们 寻找 AA cR”, Abe R^ 和 
w > 0 使 得 

(A+AA)@=b+Ab, IAA[&wE, |Ab| < wf. (2.7.12) 


注意 , 适当 地 选取 E 和 f, 从 扰动 的 方程 组 可 得 某 特定 量 . 例如 , 4 E = |4| 和 
f — |b| 以 及 w 很 小 时 , & 满足 一 个 附近 的 方程 组 (在 向 量 分 量 的 意义 下 )，Oettli 
and Prager(1964) 证 明了 , 对 给 定 A, b, &, E Ñ f, 在 (2.7.12) 中 , 可 能 的 最 小 的 
w te 
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动 结构 之 任何 方程 组 . 


Wmin = 


习 题 


2.7.1 WH: 如果 [|I] 2 1, W <(4) 2 1. 
2.7.2 ”证 明 : 对 任何 给 定 范 数 , «(AB) < &(A)&(B) 且 对 任何 正 数 a (oA) = r(A). 
2.7.3 ”给 出 X € R"*"(m > n) 的 2 范 数 条 件数 与 矩阵 


2-|t x | 和 c=|* | 
0 In In 
的 2 范 数 条 件数 之 间 的 关系 . 

本 节 注 释 与 参考 文献 


条 件数 在 下 面 文章 中 有 透彻 的 讨论 : 

J. Rice(1966). “A Theory of Condition,” SIAM J. Num. Anal. 3, 287-310. 

W. Kahan(1966). “Numerical Linear Algebra,” Canadian Math. Bull. 9, 757-801. 
关于 以 分 量 形 式 的 扰动 理论 的 参考 文献 包括 : 

W. Oettli and W. Prager(1964). “Compatibility of Approximate Solutions of Linear Equa- 
tions with Given Error Bounds for Coefficients and Right Hand Sides," Numer. Math. 
6, 405—409. 

J. E. Cope and B. W. Rust(1979). *Bounds on solutions of systems with accurate data," 
SIAMJ. Num. Anal. 16, 950-963. 

R. D. Skeel(1979). "Scaling for numerical stability in Gaussian Eliminetion," J. ACM 26, 
494-526. 

J. W. Demmel(1992).“The Componentwise Distance to the Nearest Singular Matrix," SIAMJ. 
Matriz Anal. Appl. 13, 10-19. 

D. J. Higham and N. J. Higham(1992). *Componentwise Perturbation Theory for Linear 
Systems with Multiple Right-Hand Sides,” Lin. Alg. and Its Applic. 174, 111-129. 

N. J. Higham(1994). * A Survey of Componentwise Perturbation Theory in Numerical Linear 
Algebra," in Mathematics of Computation 1943-1993: A Half Century of Computational 
Mathematics, W.Gautschi(ed.), Volume 48 of Proceedings of Symposia in Applied Math- 
ematics, American Mathematical Society, Providence, Rhode Island. 

S. Chandrasekaren and I. C. F. Ipsen(1995). “On the Sensitivity of Solution Components in 
Linear Systems of Equations,” SIAM J. Matriz Anal. Appl. 16, 93-112. 

条 件数 之 倒数 给 出 了 Ar = b 靠近 奇异 的 程度 的 度量 , 知道 一 个 给 定 问题 离 一 个 难 的 或 

者 是 不 可 解 问题 的 靠近 程度 之 重要 性 在 许多 计算 中 是 很 有 帮助 的 , 见 : 
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A. Laub(1985). “Numerical Linear Algebra Aspects of Control Design Computations,” IEEE 
Trans. Auto. Cont. AC-30, 97-108. 

J. L. Barlow(1986). “On the Smallest Positive Singular Value of an M-Matrix with Appli- 
cations to Ergodic Markov Chains,” SIAM. J Alg. and Disc. Struct. 7, 414-424. 

J. W. Demmel(1987). "On the Distance to the Nearest Ill-Posed Problem," Numer. Math. 
51, 251—289. 

J. W. Demmel(1988).“ The Probability that a Numerical Analysis Problem is Difficult,” Math. 
Comp. 50, 449—480. 

N. J. Higham(1989).“ Matrix Nearness Problems and Applications, "in Applications of Matriz 
Theory, M. J. C. Gover and S. Barnett(eds), Oxford University Press, Oxford UK,1-27. 
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求解 线性 方程 组 Ac = b 是 科学 计算 的 中 心 问题. 本 章 我 们 集中 讨论 高 斯 消去 
法 , 这 是 处 理 4 是 方 的 、 稠密 的 以 及 无 结构 时 的 首选 算法 . 如 果 A TERREN, 
相关 的 算法 可 见于 第 4, 5, 10 章 . hz = b 的 一 些 并 行 求解 方法 在 第 6 章 中 讨论 . 

在 3.1 节 我 们 通过 讨论 求解 三 角 方程 组 之 容易 来 导出 高 斯 消去 法 . 然后 3.2 节 
阐述 通过 高 斯 变换 将 一 般 方程 组 转化 为 三 角 方程 组 , 为 此 引进 了 矩阵 分 解 的 语言 
不 幸 的 是 , 得 到 的 方法 对 一 类 非 平凡 的 问题 表现 很 差 .3.3 节 的 误差 分 析 指出 了 困 
难 所 在 并 引出 了 3.4 节 , 在 那里 给 出 了 选 主 元 的 概念 . 在 最 后 一 节 我 们 详 述 了 关于 
加 权 、 和 迭代 改进 以 及 条 件数 估计 的 一 些 重要 的 实际 问题 


预备 知识 

阅读 本 章 还 需要 掌握 第 1 章 、2.1~2.5 WA 2.7 节 的 知识 . 其 他 的 参考 文献 
包括 Forsythe and Moler(1967), Stewart(1973), Hager(1983), Watkins(1991), Ciar- 
let(1992), Datta (1995), Higham(1996), Trefethan and Bau(1996) 以 及 Demmel(1996). - 
对 本 章 很 重要 的 一 些 MATLAB 函数 有 lu, cond, rcond 以 及 反 斜 线 算 子 “\”, 与 LA- 
PACK 的 相关 程序 为 


LAPACK: 三 角 方 程 组 


_TRSV 解 Ax = b 

_TRSM 解 AX =B 

_TRCON 条 件数 估计 

_TRRFS 解 AX = B, ATX = B, 给 出 误差 界 


# AX—B,ATX—B 
A^! 


AC ERES 


_GESV 
_GECON 
_GERFS 
_GESVX 
_GETRF 
_GETRS 
_GETRI 


ait Pa D LU 全 计 条 件数 

改进 AX = B, ATX = B, AMX = =B 之 解 , 给 出 误差 界 
解 AX = B, ATX = B, AHX = 

PA=LU 

利用 PA= LU ff AX = B, ATX = B,ANX=B 


平衡 方程 


3.1 三 角 方 程 组 


传统 的 线性 方程 组 的 分 解 方法 涉及 将 给 定 的 正方 线性 方程 组 转化 为 具有 同样 
解 的 三 角 方程 组 . 本 节 就 是 关于 三 角 方程 组 之 求解 ， 


3.1.1 ”向 前 消去 法 
考虑 如 下 2 x 2 下 三 角 方 程 组 


hi 0 Ti bi 
p el-la 
如 果 hla #0, 则 未 知 数 可 依次 确定 : 
zı —b/ln, 
z2 = (b2 — l2121)/l22. 
这 就 是 称 之 为 向 前 消去 法 的 算法 之 2 x 2 形式 . 通过 解 Le =b 的 第 i 个 方程 求 出 
z: 即 可 得 到 此 算法 的 一 般 形式 


i-1 
i= [Oi try | fla. 


如 果 对 i= 1 : n 计算 上 式 , 则 z 的 所 有 分 量 都 可 求 得 . 注意 到 在 第 i 步 需要 计算 
L(il:i—1) 5 z(1:i — 1) 的 点 积 . 由 于 4; METH zi 的 公式 中 用 到 , 前 者 可 被 
后 者 覆盖 . 

算法 3.1.1 (向 前 消去 法 : THR) H Le RU ATAARE, DER’, 
则 此 算法 用 Am = b 89 CR E b. 假定 工 是 非 奇 异 的 . 

b(1) = b(1)/L(4,1) 

fori =2:n 

b(i) = (b(i) — L(i, 1 : i — 1)b(1 : i -1))/LGA 
end 


此 算法 需要 n? 个 flop, 注意 到 L 是 按 行 调用 的 . 计算 出 来 的 解 $ 满足 
(L+F)@=b, |F| <nujZ|+O(u’). (3.1.1) 
其 证 明 可 见 Higham(1996). 这 说 明 计 算 的 解 精确 地 满足 一 个 小 拢 动 的 方程 . 而 且 ， 
扰动 矩阵 F 的 每 一 个 元 素 相对 于 所 对 应 的 元 素来 说 都 是 小 的 . 
3.1.2 ”向 后 消去 法 
解 上 三 角 方 程 组 Ux — b 的 类 似 算法 叫 向 后 消去 法 . r: 的 计算 公式 为 


Ti = (»- 5 w) fnis 


j=i+1 
同样 bi 可 以 被 x; 所 覆盖 . 
算法 3.1.2 (向 后 消去 法 : 行 形式 ) wRUCR™" LAAPER, DER", 
则 此 算法 用 Um 二 b ZR b. 假定 U 是 非 奇 异 的 . 
b(n) = b(n)/U (n,n) 
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fori-n—1:-1:1 
bli) = (b(i) — U(i, d -- 1: n)6(i E 1: n))/U (i3) 
end 


. 此 算法 需要 n? 个 flop, U 是 按 行 调用 的 , 可 证 明 计算 出 来 的 2 满足 


(U + Fj =b, |F|zmu|U|-O(w). (3.1.2) 


3.1.3 ”基于 列 的 形式 


交换 循环 顺序 可 得 到 以 上 算法 的 基于 列 的 形式 . 为 了 从 代数 的 角度 理解 它 , 我 
们 考虑 向 前 消去 法 , 一 旦 zi 被 解 出 来 , 该 变量 可 从 第 2 个 至 第 ”个 方程 中 去 掉 , 我 
们 可 只 考虑 缩小 后 的 方程 组 L(2: n,2: n)z(2:n) = b(2: n) — 2(1)L(2: 7,1). 然后 ， 
我 们 算出 r2. 并 且 从 第 3 个 至 第 n 个 方程 中 去 掉 za, 依次 类 推 . 于 是 , 如 果 此 方法 
用 于 


HHH eed 
9 8 T3 5 7 —16 
以 下 是 利用 覆盖 的 完整 过 程 . 
算法 3.1.3 (向 前 消去 法 : WBN) Hw LER” FEARR, DER", 
则 此 算法 用 Lz = b Z MUR E b. 假设 工 是 非 奇 异 的 . 
for j—1:n-1 
b(j) = b(3)/ LG. 3) 
b(j--1:n) o b(j-1:m) — b(j)L( +1:n,)) 
end 
b(n) = b(n)/ L(n,n) 
同样 , 可 以 得 到 基于 列 的 saxpy 算法 来 进行 向 后 消去 . 
算法 3.1.4 (向 后 消去 法 ; FBR) H U cR” 是 上 三 角形 短 阵 , b c R^, 
则 此 算法 用 Uz — b RAA b. MU 是非 奇异 的 . 
for j=n:—-1:2 
b(j) = 6(9)/UG, 3) 
b(1:j—1) 5 5(1:5—1) -6()U(1 :j— L3) 
end 
b(1) = b(1)/U (1,1) 
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注意 到 算法 3.1.3 和 算法 3.1.4 中 的 主要 运算 是 saxpy BH. 这 些 saxpy HH 
法 的 舍 入 误差 表现 与 点 积 型 算法 是 基本 相同 的 . 
三 角 方 程 组 的 计算 解 的 精度 常常 是 惊人 的 好 . 见 Higham(1996). 


3.1.4 ”多 右 端 项 问题 


考虑 计算 LX = BMX eR 的 问题 , 其 中 L eR” 是 下 三 角形 矩阵 ， 
B eme, 这 就 是 多 右 端 项 的 向 前 消去 问题 . 我 们 证 明 此 问题 可 用 一 分 块 算法 求 
解 . 分 块 算法 在 q An 足够 大 的 矩阵 乘法 中 是 经 常用 到 的 . 这 一 点 在 以 下 几 节 中 
讨论 各 种 各 样 的 分 块 分 解 算 法 中 是 重要 的 . 我 们 指出 , 虽然 这 里 考虑 的 是 下 三 角 问 
E, 但 所 有 我 们 提 到 的 内 容 都 可 用 于 上 三 角 情 形 . 

为 得 到 分 块 向 前 消去 法 , 我 们 把 方程 LX = B 划分 如 下 : 


Liu 0 tt 0 X1 Bi 
Loi L2» tt 0 X2 Bo 

. . . =) .| (3.1.3) 
Lyi Lyo © Inn XN By 


假定 对 角 块 是 方 的 . 与 算法 3.1.3 的 构造 类 似 , 我 们 从 DX = Bi 解 出 Xs, 然后 
从 第 2 块 至 第 块 方程 中 消去 Xi: 


Lz 0 œ- 0 X3 Bz — La Xi 
L32 Las coe 0 Xa _ Bs - La X, 
Ln2 Lwa c: Enn Xv By — Lyi X, 
依次 类 推 我 们 得 到 如 下 分 块 saxpy 向 前 消去 法 : 
for j=1:N 


Solve LjjXj; = Bj 
fori-j-41:N 


B, = B; - LijX; (3.1.4) 
end 
end 
注意 到 在 i 循环 中 只 有 一 个 分 块 saxpy 修正 : 
Bja Bja Litij 
: = : 一 : Xj. 
By Bn Inj 


为 了 使 此 计算 在 一 给 定 结构 下 作为 矩阵 相 乘 处 理 , 很 明显 (3.1.3) 中 的 划分 必须 有 
足够 “大 ”的 天 ;我 们 假定 如 果 , 则 每 个 X; BDA r 行 正 是 这 种 情形 ,此 时 , 可 
A N = ceil(n/r), X1, Xy 1 € R” A Xy € Ro- 700a, 
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3.1.5 3 级 比例 


在 一 个 给 定 的 算法 中 采用 一 个 度量 矩阵 乘法 的 量 是 便利 的 . 对 此 , 我 们 把 矩阵 
乘法 中 flop 所 占 比 例 的 定义 为 一 个 算法 的 3 级 比例 . 和 矩阵 乘法 的 flop RA 3 级 
flop. 

在 假定 n = rN 时 考查 (3.1.4) 的 3 级 比例 . (同样 的 结论 对 上 述 非 均匀 分 块 也 
RE) 由 于 有 N 个 +xr 向 前 消去 (计算 中 的 2 级 的 部 分 ), 而 所 有 的 flop 数 为 n2， 
故 知 3 级 比例 大 约 是 


F 
因而 , 对 很 大 的 N 几乎 所 有 的 flop 都 是 3 级 flop. 只 要 所 用 的 计算 机 在 处 理 长 度 
至 少 为 > = n/N 的 分 块 saxpy 时 能 达到 高 性 能 , 就 应 该 把 N 取得 尽 可 能 大 . 


3.1.6 ”求解 非 方 的 三 角 方 程 组 
求解 非 方 m x n 三 角 方 程 组 问题 也 值得 讨论 . 首先 考虑 当 m > n 时 的 下 三 角 


方程 组 , 即 | 
zm LIN Li € R?*", b € R^, 
Do bo La ERT, bo ER™™, 

假定 Li 是 下 三 角形 矩阵 且 非 奇异 . 如 果 我 们 将 向 前 消去 法 用 于 Liiz = bi, 则 知 
只 要 Ly (Lib) = bs 就 是 方程 组 之 解 . 否则 , 整个 方程 组 无 解 . 在 此 情形 下 , 或 
许 最 小 二 飞 解 是 合适 的 . 见 第 5 章 . 

现在 考虑 在 列 数 n 大 于 行 数 m 时 的 下 三 角 方 程 组 Lx = 65. 在 此 情形 利用 向 
前 消去 法 求解 L(l :mm,1:m)z(l :m)=b 可 得 z(1:m), fH z(m - 1:m) 是 任意 的 ， 
关于 未 知 量 个 数 大 于 方程 个 数 的 更 多 的 讨论 见 5.7 节 . 

处 理 非 方 的 上 三 角 方 程 组 是 类 似 的 , 详细 的 讨论 留 给 读者 . 


3.1.7 单位 三 角 方 程 组 


单位 三 角形 矩阵 是 指 对 角 线 元 素 全 为 1 的 三 角形 矩阵 . 下 面 要 讨论 的 许多 三 
角形 矩阵 计算 都 有 此 附加 性 质 . 很 明显 , 对 以 上 的 算法 它 不 会 带 来 任何 困难 . 


3.1.8 ”三 角形 算 阵 的 代数 


为 以 后 参考 ， 我 们 列 出 三 角形 矩阵 和 单位 三 角形 矩阵 之 乘积 以 及 道 的 一 些 
性 质 . 

e E (下 ) 三 角形 矩阵 的 逆 是 上 (下 ) EAU. 

e 两 个 上 (下) 三 角形 矩阵 之 积 是 上 (T) 三 角形 矩阵 . 

e 单位 上 (下 ) 三 角形 矩阵 之 递 是 单位 上 (T) SABE. 

e 两 个 单位 上 (T) 三 角形 给 阵 之 积 是 单位 上 (下 ) 三 角形 矩阵 . 


3.2 LU 分 HW 8 


3] B 


3.1.1 ”给 出 一 个 算法 计算 非 零 向 量 z c R^, 使 得 Uz = 0, 其 中 U eR” 是 上 三 角形 
和 矩阵 且 有 unn = 0,u11 uncis XO. 

3.1.2 ”讨论 如 何 计算 方 的 三 角形 矩阵 之 行列 式 且 能 尽 可 能 小 发 生 上 溢 和 下 溢 . 

3.1.3 ”改写 算法 3.1.4, 假定 U 是 按 列 贮存 于 长 度 为 n(n 十 1)/2 的 数组 uvec 中 . 

3.1.4 81H (3.1.4) 的 详细 形式 . 不 假定 N 整除 n. 

3.1.5 WEH 3.1.8 节 中 列 出 的 三 角形 矩阵 之 性 质 . 

3.1.6 iU S,T c R” 是 上 三 角形 第 阵 且 (ST -AD = b 是 非 奇异 方程 组 ， 给 出 一 
个 计算 x 的 O(n?) 算法 . 注意 ST — AT 的 显 式 公 式 需 要 O(n?) 个 fop. 提示 : 


o u” T v B 
S+ = » 了 + 一 ， b= 3 
[sx] melon} ee] 


其 中 S,-—S(k—-i:nk—i:n,T4.—T(k—l:n,k—l:n)b.-—b(k—1:n),o,r8 € R. 


证 明 : 如 果 z。 满足 
(STe 一 AD)ze = bc, 


以 及 w: = T Xe, 则 


一 OUTze — u We 
T | y= oe 
是 (S.T, — AD ay = by 的 解 . 注意 到 m, 和 + = Too, 都 需要 O(n- k) 个 flop. 
3.1.7 ”假定 Ri, , Rp E€ RY” 都 是 上 三 角形 矩阵 , 给 出 一 个 求解 方程 组 (Ri … Rp 一 
AT)z = b 的 O(pn?) 算法 , 假定 系数 年 阵 是 非 奇 异 的 . 提示 : 推广 上 一 问题 的 答案 . 


本 节 注 释 与 参考 文献 


三 角 方程 组 的 精度 之 分 析 可 见 : 
N. J. Higham(1989). “The Accuracy of Solutions to Triangular Systems”, SIAM J. Num. 
Anal. 26. 1252-1265. 


3.2 LU 分 解 


正如 我 们 刚才 所 见 , 三 角 方 程 组 很 “容易 ”求解 . 高 斯 消去 法 的 思想 是 将 一 给 
定 方程 组 Ar = b 转化 为 等 价 的 三 角 方 程 组 .该 转化 可 通过 方程 的 适当 线性 组 合 
来 实现 . 例如 , 在 方程 组 
3z1 + 525 —9 
| 62, 十 772 = 4 
中 , 我 们 将 第 一 个 方程 乘 以 2, 并 且 在 第 2 个 方程 中 减 去 它 则 得 到 
3zl + 522 = 9 
| 一 372 = —14, 
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这 就 是 n = 2 的 高 斯 消去 法 . 本 节 的 目的 就 是 对 这 一 核心 算法 给 出 完整 的 叙述 且 
用 矩阵 分 解 的 语言 来 刻画 它 . 这 意味 着 此 算法 求 出 一 个 单位 下 三 角形 矩阵 L 和 一 
个 上 三 角形 矩阵 U 使 得 A = LU, 即 


35| |10||13 5 
67. |21/||0 -3 | 
然后 , 原始 问题 Ac = 之 解 可 通过 两 个 三 角 求 解 过 程 来 得 到 ; 


Ly =b, Ux = y > Ax = LUxz = Ly =b. 
LU 分 解 是 高 斯 消去 法 的 “高 级 ”代数 描述 . 把 一 个 矩阵 算法 用 矩阵 分 解 的 “语言 ” 
来 表达 是 很 值得 的 . 它 有 助 于 推广 到 一 般 情 形 而 且 能 揭露 算法 问 的 关系 , 这 些 算 法 
从 标量 层次 上 看 可 能 是 非常 不 同 的 . 
3.2.1 ”高 斯 变换 
为 得 到 高 斯 消去 法 的 分 解 描述 , 我 们 需要 消 零 过 程 的 矩阵 描述 . 在 n = 2 的 水 
平 上 , 如 果 zi #0 H r= 22/21, 则 


| 


更 一 般 地 , 设 zx eR" E zx 40, 如果 


T! = (0,--+ ,0,7e43,°°* ,Tn), Tj = —, i=k+i:n, 
a Tk 
k 
且 我 们 定义 
My =I - rej, (3.2.1) 
m 
1 0 0 0 Xi Tı 
i 0 
Mz = 0 0 Lk _ Tk 
0 —Tk41 1 0 Let 0 
0 e —Tn 0 ... 1 In 0 


一 般 地 , 形 如 My = I— re? c R^*^ 的 矩阵 在 r e R^ 的 前 个 分 量 都 为 零 时 一 
般 称 为 高 斯 变换 . 这 样 的 矩阵 是 单位 下 三 角形 矩阵 . (k+l: n) 的 元 素 称 为 乘 子 . 
向 量 m 称 为 高 斯 向 量 . 


3.2.2 ”作用 高 斯 变换 
用 高 斯 变换 相 乘 特别 简单 . 设 O eR 和 M, = 了 一 Tek 是 高 斯 变换 , 则 
M,C = (I— re])C =C - r(e1C) = € - rC(k,:). 
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是 一 个 外 积 修正 . 由 于 T+(1 : k) = 0, LEUR C(k1:n,:) 受到 影响 , 修正 C = M,C 
依 行 计算 如 下 : 
fori=k+1:n 
C(i,:) = C(i,:) — riC(k,:) 


end 
此 计算 需要 2(n — 1)r 个 flop. 
例 3.2.1 
14 7 0 1 4 7T 
C=/25 8 , r={ 1 |-—(Z-vel)C—-|1 1 1 |. 
3 6 10 —1 4 10 17 


3.2.8 ”高 斯 变换 的 舍 入 误差 性 质 
WE +? 是 高 斯 向 量 r 的 计算 值 , 则 容易 证 明 
f-—T-e, le| € ulrl. 
4r 用 于 高 斯 变换 修正 且 fi((I -eC 是 计算 值 , 则 
fl — Fez )C) = (I - ref C+ E, 
其 中 
|E| < 3u(|C] + |rl|C(&, :)|) + O(u’). 
很 明显 , 如 果 > 有 大 分 量 , 则 修正 的 误差 与 |C| 相 比 可 能 很 大 . 因此 , 进行 高 斯 变换 
时 要 小 心 , 这 一 点 将 在 3.4 节 讨论 . 
3.2.4 上 三 角形 化 
设 4 cR”. 可 找到 高 斯 变换 M1,… Mn- ES Mn MiA =U Æ 
上 三 角形 年 阵 . 为 说 明 这 一 点 , 我 们 看 一 个 n = 3 的 例子 . 假设 


14 7 
A=|2 5 8 |. 
3 6 10 


如 果 


则 
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同样 ， 
1 00 1 4 了 
M2=|0 1 0[=>M2(MiA)=|0 -3 -6 |. 
0 -2 1 0 0 1 
从 此 例 可 看 出 在 第 大 步 
e AMAA HER AV? — Mi, MIA 15) 4 k—15 Ez f 
形 的 . 


。 My 的 来 子 是 基于 4k-D(E 二 1:m, 癌 ,特别 地 , 我 们 需要 at ZO. 
注意 到 n 一 1 步 之 后 就 可 完成 上 三 角形 化 . 所 以 我 们 有 
k=1 
while (A(k, k) 0)&(k € n — 1) 
T(k+1:n) = A(k -1:n, k)/A(k, k) (3.2.2) 
A(k+1:n,:)= A(k--1:n,:) — r(k - 1:n)A(R, :) 
k=k+1 
end 
必须 检查 A(k,k) 以 避免 除 零 . 这 些 量 (Alk, k) BA ZA, 它们 的 相对 大 小 是 至 关 
重要 的 . 
3.2.5 LU 分 解 


用 矩阵 语言 , 如 果 (3.2.2) 34 k = n 时 终止 , 则 它 算出 高 斯 变换 M1,… Ms 
使 得 M。 MiA =U 是 上 三 角形 矩阵 . 容易 验算 , WR My =I- rez, 则 
它 的 逆 为 M,)=1+7%e7, 因而 

A= LU, (3.2.3) 


其 中 
L=M] Ti (3.2.4) 
HEE OM 都 是 单位 下 三 角形 矩阵 , 故 很 明显 L EPS. D 
(3.2.3) 称 为 A 的 LU 分 解 . 
正如 (3.2.2) 中 需要 检查 零 主 元 所 示 , LU 分 解 可 能 不 存在 . 例如 , 不 可 能 找到 
lij 和 ui 使 得 


1 2 3 1 0 0 uii wig U13 
2.4 7|=| la 1 0 0 ?23 u23 |- 
3 5 3 lai 132 1 0 0 1433 


为 说 明 这 一 点 , 我 们 让 对 应 元 素 相等 , 发 现 wii = 1, ure = 2,1231 = 2, u22 —0 和 131 = 
3. 但 是 , 当 比 较 两 边 的 (3,2) 元 素 时 我 们 得 到 一 个 矛盾 方程 5 = ls1w12 + 13222 = 6. 
正如 我 们 将 证 明 的 , (3.2.2) 中 出 现 零 主 元 与 奇异 主子 矩阵 是 等 价 的 . 
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定理 3.2.1 toRepk=1:n—1, 行列 式 det(A(1:k,1:k) #0, BR] A ALU 
分 解 . 如 果 A SHLAA LU 分 解 , 则 LU 分 解 是 唯一 的 且 det(A) = ui Unn. 

证 明 ”假定 (3.2.2) KAT k — 1 步 已 完成 . 在 第 上 步 开 始 前 A 已 被 Mi_1… 
MA = ACCU 覆盖 . 注意 到 aol) 是 第 个 主 元 . 由 于 高 斯 变换 是 单位 下 三 角形 
和 矩阵, 从 该 等 式 的 主 k xk 部 分 可 看 出 , det(4(1: k, 1: k)) =a)... a7, 所以， 
WR 4(1 :51:8) 非 奇异 , 则 第 & 个 主 元 非 零 . 

至 于 唯一 性 , 如 果 A = LU, 和 A = LU: PERRE A 的 两 个 LU 分 
解 , 则 L;!L; = UUT). 由 于 La1L1 是 单位 下 三 角形 矩阵 而 UUT 是 上 三 角形 
和 矩阵, 故 知 这 两 个 矩阵 都 必须 是 单位 矩阵 . 因此 D; = L2, U1 = Us. 

最 后 , 如 果 A = LU, 则 det(A) = det(LU) = det(L)det(U) = det(U) = 


LT Unn. O 
3.2.6 “一些 实际 细节 


从 实际 应 用 的 角度 , 能 对 (3.2.2) 有 儿 种 改进 . 首先 , 由 于 从 第 1 列 至 第 有 -1 
列 已 化 为 上 三 角形 , 高 斯 变换 只 需 作 用 于 从 第 k 列 至 第 n 列 . 当然 , 我 们 不 需 将 第 
k 个 高 斯 变换 作用 于 A(:,), 因为 其 结果 是 知道 的 . 另 一 个 值得 注意 的 事项 是 , 对 
应 于 M, 的 乘 子 可 储存 在 已 消 为 零 的 位 置 , BI 4A(k 十 1 : n, k) 利用 这 些 改动 , 我 们 
得 到 (3.2.2) 的 如 下 形式 . 
算法 3.2.1 (外 积 高 斯 消去 法 ) BR A c RU" 满足 AL: kL: kK) R= 
1 :n 一 1 非 奇异 . 本 算法 计算 分 解 Mn MA =U, $F U ALAA EE, 
每 个 Ms 都 是 高 斯 变换 . U 储存 于 A 的 上 三 角 部 分 对 应 于 M 的 乘 子 储存 于 
A(k+1:n,k), BP A(k+1:n,k)=—M(k+1:n,k). 
fork=1:n—1 
rows=k+ 1:n 
A(rows, k) = A(rows, k)/A(k, k) 
A(rows, rows) = A(rows, rows) 一 A(rows, k) A(k, rows) 
end | 
此 算法 需要 n? 个 flop, 是 高 其 消去 法 的 若干 种 形式 之 一 . 注意 到 在 上 循环 的 
每 一 步 中 执行 的 是 一 外 积 运 算 . 
3.2.7 L 存 于 何 处 ? 


算法 3.2.1 UT NARA L. 确切 地 说 , 设 7(* 是 对 应 于 M, RT, 当 
算法 终止 时 4(k 十 1 : nk) = r9. 4BPETEREIE RT ERI. "ERIT" JE, 如 果 L = 
M'e M41,, W L(k-1:n,k) 2 c (9. 这 从 仔细 考查 工 的 乘积 定义 就 可 得 到 . 
事实 上 p 

L-(I4TUeT)...(1 e v -D9eT jara SLUT 
k=1 
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由 于 4( 十 1 : n,k) RT rO 的 第 上 个 向 量 , 故 知 对 一 切 i > k, Ali,k) TÉ 
储 lik- 


3.2.8 ” 解 线性 方程 组 


一 旦 A 已 用 算法 3.2.1 被 分 解 , 则 LA U 存 于 数组 A. 然后 , 我 们 可 用 31 
节 的 方法 解 三 角 方程 组 Ly = b 和 Ux = y, 得 到 Ax = b 之 解 . 

Bj3.2.2 ”如果 算法 3.2.1 用 于 
1 4 7 


1 4 7 
A=|2 -3 -6 |. 
3 2 1 


oR b= (1,1,1)7, My = (,-,07 X Ly =b 2H. AM Um Hy He = 


11, 
(^5: 50) i 
3.2.9 ”其 他 形式 
与 矩阵 乘法 一 样 ,高 斯 消去 法 也 是 一 个 三 重 求 和 , 可 以 有 不 同 顺 序 . 如 果 算 法 
3.2.1 的 外 积 计算 是 逐 行 计算 , 则 它 对 应 于 高 斯 消去 法 的 kij 形式 : 
fork —1:n-—1 
A(k+1:n,k) = A(k+1:n,k)/A(k, k) 
fori=k+iin 
forj=kA+i:n 
A(i,j) = AG, j) - AG k) A(k, j) 


end 


则 完成 后 可 得 


end 

end 
其 他 的 五 种 形式 为 有 7 ikj ijk, jik 和 jki. 这 些 实现 方式 的 后 三 种 之 特点 是 一 系列 
的 gaxpy 和 向 前 消去 . 在 此 方式 下 , 高 斯 变换 不 像 外 积 形式 那样 马上 作用 于 A. 事 
实 上 , 这 些 变换 延 后 了 . 在 第 j 步 之 前 , 初始 的 A(:,j) 根本 就 没有 动 . 在 算法 第 j 
步 , AGD CM i Mi AC, j) 覆盖 , 第 j 个 高 斯 变换 也 求 出 来 了 . 

更 精确 地 说 , 设 1< 7<n 一 1, 假定,1:7 一 1 和 Ul1:j 一 1,1:j 一 1) 已 
An, 这 意味 着 二 和 U 的 前 ;一 1 列 已 求 出 来 了 . AEI LA U 的 第 7 列 , 我 们 令 
方程 A = LU 的 第 j 列 相等 : 4(:,7) = LU(,j). 由 此 , 我 们 有 

A(Ql:j ~1,9)=L0:7-1,1:7-)UQ:7-1,9), 
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j 
A(j : n, 3) =J LG: n, k)U (k, j). 


k=1 
第 一 个 方程 是 下 三 角 方程 组 , 可 从 它 解 出 U(1:; 1,3). 完成 这 点 之 后 , 可 改写 第 
二 个 方程 来 计算 UOJ) 和 LG + 1:m 力 . 事实 上 , 我 们 令 
j—1 
v(j : n) = AG :n,j) - 3, LG : n, k)U(k, j) 
k=1 


= A(j inj) - L(j : n,l :j- )U(1:j—- 1,3), 


W LG +1207) = 0G 1: n)/v(j), 以 及 Uli) = v(3). 于 是 计算 LG 4+1:7,9) 
是 一 个 加 权 gaxpy, 我 们 有 


L=1;U=0 
for j —1:n 
ifj-l 
v(j:n)-— A(j :n,j) 
else 
M Lü:j-11:j—-12-A4(:j—1,5) HE z 
4Uü:j-Lij)-: (3.2.5) 
v(j:n)—- A(j:n,j) - L(3:n,1:j — 1)z 
end 
ifj«n 
L(j*1:n,j) 2 »(j - 1:n)/w(j) 
end 
U(j.j) =v) 


end 
高 斯 消去 法 的 此 形式 主要 是 向 前 消去 和 gaxpy, 它 与 算法 3.2.1 一 样 需要 në 个 
flop. 
3.2.10 ”分 块 LU 
高 斯 消去 法 可 组 织 得 让 矩阵 乘法 是 主要 的 运算 . 这 一 分 块 方法 之 导入 的 关键 是 
把 A ERnxn 划分 为 如 下 形式 
- | An Aw | r 
Az A» |n-r 
T nr 


其 中 是 分 块 参数 .假设 我 们 已 算出 LU 分 解 An = LuUu, 则 可 解 多 右 端 项 三 
角 方程 组 Li Ui15 = Aw 和 LaUn = An 分 别 得 到 U1s 和 La. 从 而 有 
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| Ai As E Li 0 I, 0 Ui Ur; 

Aa Ade La In—r 0 A O Ine |? 

其 中 A= Aaa 一 L4U;;. SER A 是 An 关于 A 的 Schur Th. 注意 到 ， 如 果 
A = L3;U5; 是 4 之 LU 分解 , 则 


p i-um 0 | I. 0 Ui Uim 

An Ao. | | La bo | 0 all 0 o: | 

就 是 A 的 LU 分 解 . 于 是 当 L, La, Un 和 Ui; 计算 出 之 后 , 我 们 继续 对 (2,2) 
5k A 进行 3 级 修正 . 

算法 3.2.2 (分 块 外 积 LU) i£ A€ R"*7 RHdet(A(1: k,/ 1: k) SF k—1:n—-1 
非 零 . 设 BLi<r<n. 本 算法 用 秩 7 修正 计算 A = LU. 算法 完成 后 , Ali j) 
当 i>j 时 被 L(i,j) MS, 5 j 2i 时 被 U(i,j) MB. 

入 =1 

while A Xi n 

u= min(n, A +r — 1) 

用 算法 3.2.1 BK AA: pA: nu), X LU DHATA LÜ 

fe LZ =A(A: p,+1:n) 得 到 名 EJ ZAŠ AAs pw tl: n) 
& WU = A(uti:n,\:) 得 到 W 且 用 W 覆盖 A(u-1:n,A: p) 
A(utilinpti:n) =Alut lint i:n)-WZ 

A=pt) 

end 
此 算法 需要 <n? 个 flop. 

5 3.1.5 节 的 讨论 类 似 , 我 们 讨论 此 方法 的 3 级 比例 . 假定 > 足够 大 , 所 用 的 
计算 机 能 以 “3 级 速度 ” 计算 矩阵 的 相 乘 修正 A(u -1:n, p 1:n) — A(p1:n, 
p-1:n) - WZ. 为 明确 起 见 , 假定 m”= rN. 非 3 级 的 浮 点 运算 仅仅 是 >xr 的 LU 
分 解 AQ : A cu) = LU. 在 整个 计算 中 . 一 共有 N 个 这 样 的 分 解 , 故 知 3 级 比 
例 为 


N(2r3/3) _ d 
2n3/3 |  N* 
这 样 , 24 N 很 大 时 几乎 所 有 的 运算 都 是 矩阵 相 乘 . 正如 我 们 已 提 到 , 这 样 就 保证 了 
在 许多 计算 环境 下 算法 都 是 高 性 能 的 . 
3.211 KHER LU 分 解 
对 长 方 矩 阵 A c Rmxn 也 可 进行 LU 分 解 . m > n 时 的 例子 可 如 下 给 出 : 


vre o 
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123] [10][12 3 
f 5 dla JJ -3 M 
说 明了 m <n 的 情形 . 如 果 AQ : k1: k) Hk — 1: min(m,n) 都 非 奇 异 的 , 则 
AcR?*^ 就 一 定 存在 LU 分 解 . 
上 面 关于 方 阵 的 LU 分 解 算法 稍 加 改动 就 可 用 于 长 方 矩 阵 . 例如 , 对 m > n, 
算法 3.2.1 可 修改 为 
fork=1:n 
rows=k+1:m 
A(rows,k)=A(rows,k)/A(k, k) 
ifk<n 
cols=k +1:n 
A(rows,cols)-- A(rows,cols) — A(rows,k) A(k, cols) 
end 


end 
此 算法 需要 mn? — n3/3 个 flop. 
3.2.12 ”一 点 不 足 


正如 我 们 所 知 , 高 斯 消去 法 在 前 m — 1 个 主子 矩阵 奇异 时 不 能 进行 .这 种 情况 
对 有 些 非常 简单 的 矩阵 发 生 ,如 
A= | o 1 | | 
1 0 


4 的 2 范 数 条 件 非常 好 , 但 它 的 主子 矩阵 奇异 , 故 不 存在 LU 分 解 . 
很 明显 , 要 使 高 斯 消去 法 有 效 地 用 于 求解 一 般 线性 方程 组 , 我 们 就 要 对 它 进 行 
改进 . 下 一 节 给 出 的 误差 分 析 指 明 哪些 改进 是 必需 的 . 


习 题 


3.2.1 B A() cR" 的 元 素 是 标量 e 的 连续 可 微 函 数 , 假设 A= A(0) 以 及 它 的 所 
有 主子 矩阵 非 奇 异 . 证 明 : 对 充分 小 的 e, 矩阵 Al) 有 LU 分 解 A(e) = L(e)U (e) 且 工 (e) 和 
U (e) 都 是 连续 可 微 的 . 

3.2.2 W AER” 的 划分 为 

A= | An Au | 
Az Áo 

其 中 An Ær xr FRM. 假定 Au 非 奇 异 . 矩阵 5 = A22 一 An Aj An EE A H An 的 
Schur 4h. 证 明 : 如 果 An 有 LU 分 解 , 则 算法 3.2.1 执行 到 第 r 步 之 后 , 4A(r 十 1 :nn,7 十 1 :mn) 
储存 了 S. 为 什么 在 (3.2.5) 的 r 步 之 后 可 得 到 S? 
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3.203 AER” A LU 分 解 . 说 明 为 什么 通过 计算 nx (n+ 1) E [A 可 的 LU 
分 解 而 不 储存 乘 子 就 可 求解 Ar = b. 

3.2.4 ”叙述 一 个 变形 的 高 斯 消去 法 . 它 按 n: 一 1 : 2 的 顺序 将 A 列 消去 . 从 而 得 到 分 解 
A=UL, 其 中 UU 是 单位 上 三 角形 矩阵 , L 是 下 三 角形 矩阵 ， 

3.2.5 R'"*" 中 形 如 N(y,k) = I — yel (y € R”) WEERA Gauss-Jordan 变换 . 
(a) 假定 N(y, k) t 存在 , 给 出 其 公式 . (b) 给 定 z € R^, 什么 条 件 下 存在 y 使 得 N(y, kje = 
ex? (c) 给 出 一 个 应 用 Gauss-Jordan 变换 的 将 A 用 AC! 覆盖 的 算法 . A 满足 什么 条 件 时 能 
保证 方法 成 功 ? 

3.2.6 ”将 (3.2.5) 推广 到 A 的 行 数 大 于 列 数 的 情形 . 

3.2.7 ”说 明 (3.2.5) 中 4 可 被 LAU Bk. 重新 组 织 三 重 循环 使 得 对 数据 的 读 取 是 整 
体 间 . 

3.2.8 ”给 出 高 斯 消去 法 的 一 种 形式 , 其 三 重 循环 之 最 内 层 是 点 积 计算 ， 
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T. Dekker and W. Hoffman(1989). “Rehabilitation of the Gauss-Jordan Algorithm," Numer. 
Math. 54, 591—599. 
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3.3 ”高 斯 消去 法 的 舍 入 误差 分 析 


我 们 现在 讨论 上 两 节 的 算法 用 于 求解 线性 方程 组 Aa = b 时 含 入 误差 的 影响 . 
关于 高 斯 消去 法 舍 入 误差 的 更 详细 的 讨论 由 Higham(1996) 给 出 . 

在 开始 分 析 前 , 一 件 有 用 的 事 是 讨论 几乎 理想 的 情形 , 即 除了 储存 A M bZ 
外 整个 计算 过 程 都 没有 舍 入 误差 . 这 样 , 当 fb) =b+e H fl(A)=A+E RF 
时 , 我 们 假定 全 满足 


(A+ E)t=(b+e), |Ele < ullAlloo, llelo < ullblsc. (3.3.1) 


也 就 是 说 , 是 一 个 “附近 ”问题 的 精确 解 . 而 且 , 如 果 usod) < 3 则 利用 定理 
2.7.2 可 证 明 


[lt — Ell 
ze 
Jt (3.3.1) 和 界 (3.3.2) 是 “最 好 ”的 范 数 界 . 任何 对 需要 储存 A 和 。 的 线性 方程 组 
求解 方法 的 一 般 性 co 范 数 误差 分 析 不 可 能 得 到 更 好 的 界 . 因此 , 如 果 A 的 病态 已 
相当 于 机 器 精度 , 即 uxoo(4) = 1, 则 我 们 不 应 抱怨 算法 给 出 的 2 不 精确 . 


3.3.1 LU 分 解 的 误差 


下 面 讨论 高 斯 消去 法 的 误差 界 与 上 述 理 想 界 的 关系 . 为 方便 起 见 , 我 们 考虑 oo 
范 数 且 讨 论 算法 3.2.3, 即 外 积 形式 . 我们 所 导出 的 误差 界 也 适用 于 gaxpy 形式 的 
算法 3.2.4. 

我 们 第 一 个 任务 是 量化 计算 三 角 分 解 时 的 舍 入 误差 . 

定理 3.3.1 REA XE — nx n FREE. 如 果 算 法 3.2.3 中 不 出 现 零 主 元 
情况 , Wi RAHEEM LS Ü 满足 


< 4uko0(A). (3.3.2) 


LU =A+H, (3.3.3) 
|H| < 3(n — 1)u(JA| + PCD + Ou’). (3.3.4) 
证 阴 ”对 n 进行 归纳 . 定理 对 n = 1 显然 成 立 . 假定 它 对 (n-1) x (n- DF 
点 矩阵 是 成 立 的 . 设 
| a wt | 1 
A- 
v B n-—1 
1 n-1 
MEE z = fi(v/a) 和 A, = fB — Zw"). 于 是 我 们 有 
à- RE +f, Vis ui (3.3.5) 


A, =B-w'+F, |F| «2u(|B|  |£||w|T) + O(v?). (3.3.6) 
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算法 现在 需要 计算 A. 的 LU AM. 由 归纳 法 , 计算 出 来 的 A, 的 近似 分 解 5 和 
Ô, 满足 
LU, = A, + H, (3.3.7) 


|H;| < 3(n — 2)u(|À;| + EVN) + O(u?). (3.3.8) 


从 (3.3.6) 知 . 
|Á;] < (1 + 20)(1B] + |2|}w]*) + O(v?), 


FEM (3.3.7) 和 (3.3.8) 我 们 有 
|H; + F| <3(n — ))u(|B] + jêljw]T + [Ly ||) + O(v?). 
HF lof| < ulvl, 容易 验证 


fa w] [i o ][ lol tuf? ; 
IBI 3 oo IBI Jf al TEVA } +00 ^ 


故 知 定理 成 立 . 口 
我 们 指出 , 如 果 A 是 m xm ERE, 则 定理 把 (3.3.4) HR n 用 min{n,m} 替代 
后 仍 成 立 . 


3.3.2 ” 非 精确 三 角 方程 组 的 求解 


接 下 来 我 们 考查 当 计 和 六 用 于 3.1 节 中 三 角 方程 组 求解 时 舍 入 误差 的 影响 . 

定理 3.3.2. E L do Ü X n x n FEM A 通过 算法 3.2.3 或 算法 3.2.4 所 

求 得 的 LU 因子 . 假设 3.1 节 中 的 方法 用 来 计算 Ly =b f Ùr = 9 XM yi 
则 (A+ E) =b, 其 中 

|E| < nu(3|A| + 5|£\|0|) + Olu’). (3.3.9) 


证 明 ”从 (3.1.1) 和 (3.1.2) 我 们 有 
(E+ F))-b, |F| « nu|L| +00’), 


(Ü--G)&-$, |G| < nub] + Olu’). 
TÉ . . uu 2. 
(Ê + F)(Ü + G) = (EU + FU + LG + FG)& =b. 


从 定理 3.3.1, 知 
LU=A+H, 
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B. |H] € 3(n — Du(|A| + |Ê) + O(u?). 所 以 ,通过 定义 
E= H + F + ÎÊG+ FG 
WA (A+ E)2 — b. 而 且 
|E| < |H| + |F||Û| + |ÎI|G| + OQ?) 
€ 3nu(|A| + |£||0]) + 2nu(|£}|0]) + O(u?). 
要 是 | 记忆 | 这 一 项 不 太 大 的 话 , (3.3.9) 与 (3.3.1) 的 理想 界 相差 不 大 . (AF ”无 关 
紧要 , 见 2.4.6 节 中 Wilkinson 的 摘 文 .) 但 有 可 能 LO 很 大 , 因为 高 斯 消去 法 并 
不 能 排除 小 主 元 的 可 能 性 . 如 果 碰 到 很 小 的 主 元 , WL MO 可 能 有 很 大 的 数 . 


我 们 强调 一 下 , 小 主 元 并 不 一 定 是 由 于 病态 所 致 . 如 A = | : i | Bias. 所 
以 , 甚至 对 于 和 良 态 问题 高 斯 消去 法 也 可 能 给 出 任意 差 的 结果 . 此 方法 是 不 稳定 的 . 
为 了 克服 算法 的 这 一 缺点 , 有 必要 在 消去 的 过 程 中 交换 行 和 交换 列 , 使 得 计算 


中 得 到 的 数 适 当地 有 界 . 这 一 思想 将 在 下 一 节 中 讨论 . 
例 3.3.1 H 8=10,t=3. 浮 点 运算 用 于 求解 


0.001 1.00 zı | | 1.00 
1.00 2.00 T2 3.00 | 


用 高 斯 消去 法 , 我 们 有 
0.001 1 
o  —1000|' 


so [om iso doen 


口 


ll 
mm 
o 
et 
So 
mM o 
L——— 
> 
I 


10-8 0.001 
10-3 1.0001 
31 节 的 三 角 方程 组 求解 方法 继续 解决 此 问题 , 而 且 假定 精度 同上 , 则 可 得 到 计算 
4X 4 —(0,1)T. 这 与 精确 解 x = (1.002.… ,0.998---)7 差别 很 大 . 


而 且 6 | | 是 (3.3.4) PORE, 它 没有 过 高 估计 HE. 如 果 我 们 用 


习 B 


3.3.1 ”证 明 如 果 在 定理 3.3.1 中 把 4 是 浮 点 矩阵 的 假设 去 掉 , 则 (3.3.4) 将 在 把 系数 “3” 
d» “4” 之 后 成 立 . 

3.3.2 设 4 是 mx7m 和 矩阵 且 忆 和 六 由 算法 3.2.1 产生 . (a) 计算 ILC lllo 需要 多 
少 flop? (b) 证 明 fi( JE |) < (1 + 2nu)| JO | + O(u?). 

3.3.3 x= A-b. 证 明 : WF e= r- ê (XX) r—b— At (RB), 则 


irii —1 
jai < |lell < A~ iiri. 
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假定 矩阵 范 数 与 向 量 范 数 是 一 致 的 . 
3.3.4 ”用 十 进 制 的 两 位 浮 点 运算 , 计算 
a-l; s] 
9 8 


的 LU 分 解 . 对 于 这 个 例子 ，(3.3.3) 中 的 五 是 什么 ? 
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3.4 选 主 元 法 


上 一 节 的 分 析 表 明 , 我 们 应 采取 措施 使 计算 的 三 角形 因子 二 和 Ó 没有 太 大 的 
元 素 . 例子 


4 | 90001 01] | 1 Ol[oo01 1 LIU 
1 1] [| 10000 1 0  —9999 


准确 地 给 出 了 困难 的 根源 , 即 相对 很 小 的 主 元 .克服 此 困难 的 方法 之 一 是 交换 行 . 
在 我 们 的 例子 中 , WR A 是 置换 矩阵 


0 1 
-| | 
1 0 


B 1 1]. 1 olf1i 1 7 
~ | 0.0001 1] | 0.0001 1 0 0.9999 


则 


此 时 , 三 角形 因子 之 元 素 都 是 可 接受 的 小 元 素 . 

在 此 节 , 324 1088] Hd are sg 4 的 置换 形式 使 其 有 一 基本 稳定 的 LU 分 解 . 这 有 
几 种 做 法 , 每 一 种 对 应 于 不 同 的 选 主 元 技巧 . 我 们 主要 讨论 部 分 选 主 与 全 选 主 . 将 
讨论 这 些 技巧 的 有 效 实现 以 及 它们 的 性 质 . 首先 我 们 讨论 置换 矩阵 乘法 . 
3.4.1 ”和 置换 和 矩阵 

本 节 要 讨论 的 高 斯 消去 法 的 稳定 化 涉及 如 交换 矩阵 的 两 行 这 样 的 数据 流动 . 为 
使 所 有 的 计算 都 用 “和 矩阵 语言 ” 来 描述 , 有 必要 熟悉 置换 矩阵 . —SERERRE 
把 单位 矩阵 的 行 重新 排列 后 所 得 的 矩阵 , 例如 


000 1 
0 
0 


e 
= 0 c 
oO. © 


0 


一 个 n x n BBGE RAGE AR BRET, 用 一 个 n 维 整数 向 量 p 表示 一 个 一 般 置 
KER P 要 有 效 得 多 . 一 种 方法 是 令 p(k) 是 P 的 第 大 行 中 唯一 个 “l 的 列 指标 
于 是 ,p [4 1 3 2) 就 是 上 面 P 的 一 个 很 好 的 编码 ， 也 可 以 按 P 每 列 中 “1” 的 
位 置 来 编码 . 在 这 种 方式 下 对 上 面 忆 有 p=[2 4 3 1). 

设 已 是 一 置换 矩阵 ，4 是 一 矩阵 , 则 PA 是 A 的 行 的 置换 ,4P 是 4 的 列 
的 置换 . 置换 矩阵 是 正 交 的 , 所 以 , 如 果 P 是 置换 矩阵 , 则 PO = PT. 置换 矩阵 的 
FARE BIER. 

本 节 我 们 特别 关注 交换 置换 矩阵 , 它们 是 将 单位 矩阵 中 两 行 互相 对 换 而 得 到 
的 . 例如 


0 
0 
1 


o o c 


E= 


>o or. OO 
oOo o o0 F 


1 0 

交换 置换 矩阵 可 用 来 描述 行 和 列 的 互 换 . 对 于 上 面 的 4 x 4 例子 , EA 是 互 换 4 的 
第 1 行 和 4 行 . 同样 , AE 是 互 换 4 的 第 1 列 和 第 4 列 . 

WE P = En E, 且 每 个 Ek 是 将 单位 矩阵 的 第 上 行 与 p(k) THR, 则 
p(1:n) 是 P 的 一 个 有 用 的 向 量 编码 . 事实 上 , 对 o c R", CR Px Bik: 

for k=1in 

a(k) e» x(p(k)) 

end 
KH «o^ d ECT VE, 由 于 每 个 有 都 对 称 且 PT = E- En, 这 个 表达 式 可 用 
来 将 Pla 覆盖 x: 

fork=n:-1:1 
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a(k) e» 2(p(k)) 
end 
应 该 指出 的 是 , 在 置换 运算 中 没有 浮 点 运算 . 但 是 , 置换 矩阵 算 子 常常 涉及 数据 的 
非常 规 移动 , 可 能 带 来 相当 大 的 计算 负担 . 
3.4.2 ” 列 选 主 元 : 基本 思想 


我 们 证 明 在 LU 计算 中 用 交换 置换 可 保证 所 有 乘 子 之 绝对 值 不 大 于 1. 假定 


3 17 10 
A=|2 4 一 2 
6 18 -12 


为 了 使 第 一 个 高 斯 变换 乘 子 尽 可 能 小 , 我 们 用 行 互 换 使 oil 是 第 1 列 最 大 的 元 素 . 
所 以 , 如 果 E, 是 交换 置换 矩阵 


0 0 1 
Fi;=/]0 10], 
1 0 0 
则 
6 18 一 12 
EiA=!2 4 -2 | 
3 17 10 
由 
1 0 0 6 18 -12 
M,= —1/3 1 0 => M, EA = 0 -2 2 
-1/2 0 1 0 8 16 


现在 为 使 M2 中 乘 子 尽 可 能 小 , 我 们 需要 互 换 第 2 行 和 第 3 行 . 所 以 , 当 


1 0 0 1 0 0 
E,=|0 0 1 和 Ma—-|0 1 0 
0 10 0 1/4 1 
时 , 有 
6 18 -12 
MP;E;,M,Ej;AÀA-—|0 8 16 | 
0 0 6 


此 例 刻画 了 行 互 换 的 基本 思想 . 一 般 情 况 下 , 我 们 有 
fork 21:n—1 
HIM Es 使 得 Eh(1 : k,l1 : hk) — D BHF EXA 8055 k P] 
z 有 |z(k)| = ||z(k : n)lloe 
A= EA 
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确定 高 斯 变换 My, 使 得 MA HR k3) o BR v(k+1:n) =0 
A= M.A 
end 
此 特别 的 对 行 交换 的 技巧 称 为 列 选 主 元 ， 整 个 过 程 完成 后 , 得 到 Mn_1Enw_1:… 
MM1EB14 =U, 是 一 上 三 角形 矩阵 . 
由 于 列 选 主 元 , 所 有 乘 子 的 绝对 值 都 不 超过 1. 这 里 由 于 对 k= 二 1:n 一 1 都 有 


[GEM xa tí ME A)kk| = max |(EkMpk-1ı ttt ME, A)ix|- 
kgign 


所 以 , 列 选 主 元 能 有 效 地 保证 不 出 现任 意 大 的 乘 子 . 
3.4.3 FEET: 细节 


现在 , 我 们 给 出 带 列 选 主 元 的 高 斯 消去 法 整个 算法 细节 . 
算法 3.4.1 ( 带 列 选 主 元 的 高 斯 消去 法 ) GR 4 ER"*", 则 本 算法 计算 高 斯 变 
换 Mi, Maa 以 及 交换 置换 和 矩阵 Enc , En-1 使 得 Mn_1En-_1:…MiE1A = 
U 是 上 三 角形 矩阵 ， 所 有 李子 的 绝对 值 都 不 大 于 1. AQ : kk) 被 U(1 : kk) FEAR 
盖 (k=1:n). A(k+1: n,k) 被 一 Mp(k 十 1 : n,k) RMA (k—1:n—1). 整数 向 重 
”p(1 :n 一 1) 是 交换 置换 指标 . 确切 地 说 , 对 上 二 1 : nn 一 1, Ex 交换 第 上 行 和 第 p(k) 行 . 
for k=1:n—1 
RAJ u RA k< u < n J Alu, k)| = LAG :nk)lloo 
Alk, k:n) = Alu, k: n) 
p(k) =p 
if A(k,k) #0 
rows=k+1:n 
A(rows, k) = A(rows, k)/A(k, k) 
A(rows, rows) = A(rows, rows) — A(rows, k)A(k, rows) 
end 
end 
注意 到 , WRB bP ||4(k : n, Allo = 0, 则 在 精确 运算 时 A 的 前 k 列 是 线性 
相关 的 . 与 算法 3.2.1 不 同 的 是 , 在 这 里 没有 困难 , 我 们 可 简单 地 跳 过 零 主 元 . 
从 浮 点 运算 的 角度 看 , 列 选 主 元 所 增加 的 工作 量 并 不 大 , 因为 在 选 主 元 时 进行 
比较 的 次 数 为 O(n2)， 而 整个 算法 的 浮 点 运算 次 数 为 zn. 
执行 算法 3.4.1 之 后 , 解 线性 方程 组 Aa = b 需要 
e SEX y = My-1En-1::-MiFib 
e 求解 三 角 线 性 方程 组 Ux = y. 
所 有 需要 的 信息 都 储存 于 A 和 主 元 向 量 p 中 . 事实 上 , 计算 过 程 
fork=1:n-1 
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b(k) e» b(p(k)) 
b(k--1:n) — b(k--1:n) — b(kK)A(k -1:n,k) 
end 
将 5 用 M1En-1.… Mi E, Bis 
例 3.4.1 dX 3.41 用 于 


3 17 10 

2 4 i| 
6 18 -12 

6 18 -12 

A= | 1/3 8 16 

1/2 -1/4 6 

URp=(3 3|. 这 两 个 量 包含 了 与 以 下 分 解 相 关 的 所 有 信息 : 


则 结束 时 有 


1 0 0 100 1 00 00 1 
0 1 0/||00 1 -310]|[010]|A 
0 1/4 1 010 -1/2 0 1 100 

6 18 -12 

-|0 8 16 

00 6 


3.4.4 L 储存 于 何 处 ? 


带 选 主 元 的 高 斯 消去 法 计算 出 A 经 过 行 置换 后 的 LU 分 解 . 此 证 明 仅 仅 是 下 
标 比 较 . 

定理 3.4.1 设 用 带 列 选 主 的 高 斯 消去 法 (算法 3.4.1) FRA ESL RUE AE 
"A Ma GE, a M,E1A =U. (3.4.1) 
pu 

PA — LU, 

其 中 P-E.aoEQLORGARTIÓASEIMB|gsx1L 的 第 kk 列 在 对 角 线 
以 下 的 部 分 是 第 上 个 高 斯 向 量 的 置换 形式 .确切 地 说 , 如 果 Mr =I- rek, 则 
L(k+1:n,k) =g(k+1:n), 其 中 g= En: e Bpait™. 

证 阴 从 (3.4.1) WH MS uc MIPA-U, AP Mn- = Ma 以 及 


My, = 五 1 和 


由 于 Ej 是 关于 (TS oT (n 2 j) 的 互 换 , 所 以 有 B(1:5-1,1:7-YN=G-. 
从 而 每 个 M1, 都 是 高 斯 变换 , 其 高 斯 向 量 为 TU = E, ++ Esa r9. 口 
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此 定理 的 作用 之 一 是 , 让 人 容易 看 到 该 如 何 修改 算法 3.4.1 使 得 在 结束 时 AC, j) 
储存 L(i,j) (对 i > 3). 我 们 仅 需 把 Er 对 所 有 已 算出 的 高 斯 向 量 进行 变换 . 这 可 在 
算法 3.4.1 中 通过 将 “A(k,k;n) Alu, k: n) RE “Alk, 1:2) e Alu, 1:n)” 而 
实现 . 

例 3.4.2 5| 3.4.1 PMS OM PA — LU 是 


001/]]3 17 10 1 0 0|16 18 -12 
100||l2 4 -2|-2|1/2 1 ojlo 8 16 
010]|[|6 18 -12 1/3 -1/4 1||0 0 6 


3.4.5 Gaxpy 形式 


在 3.2 节 我 们 给 出 了 计算 LU 分 解 的 外 积 形式 和 gaxpy 形式 . 已 经 讨论 了 外 积 
形式 的 选 主 元 法 , 很 自然 将 gaxpy 形式 与 选 主 元 结合 . 回顾 一 下 (3.2.5) 对 一 般 形 式 
的 gaxpy LU XX f: 

L-I 

U=0 

forj=1:n 

if j =1 
v(j :n) = AG :n,3) 
else 
& L(1:j—-11:j—1z-4(:3-1,53) RH z 
4Uü0:j-Lj)-z 
v(j:n)2 A(j :n,j) - L(j :n,1:j —- 1)z 
end 
if j «n 
L(j -1:n,j) 2 vj - 1:0)/v() 
end 
U(j,3) = v(i) 

end 
列 选 主要 求 找 ju(7 : n)| 的 最 大 元 素 且 相 应 地 进行 . 假定 A 非 奇异 , 从 而 不 会 有 零 
主 元 , 于 是 我 们 得 到 

L-DLU-O 

for j—1:n 

ifj=1 
v(j in) = AG : m j) 
else 
RLü0:j-11:j—-1-4(:j-1,)) Rw z 
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AUQ:j-ij)-z 


v(j:n)2 Ajin j) - L(j :n,1:5—1)2 (3.4.2) 
end 
ifj<n 

RE u, BRK Cp <n, 使 得 jv(10| = Iei : a)l- 

pj) = 4 

v(j) > v(u) 


A(j,j c 1:n) e A(u,j t 1:m) 
LG +1:7,9) = v(j +1: n)/v(j) 
ifj>1 

L(j1:ij—1)e L(w,1:7-1) 
end 


end 
UG, j) =v) 
end 
在 此 程序 中 , 我 们 得 到 了 分 解 PA = LU, 其 中 P = Eni Bi, Er E nxn 
单位 矩阵 的 第 大 行 和 第 p(k) 行 的 交换 矩阵 .和 算法 3.4.1 一 样 , 此 算法 需要 要 n° 
个 flop 和 O(n?) 次 比较 . 
3.4.6 ”误差 分 析 
现在 我 们 考查 列 选 主 所 得 到 的 稳定 性 ， 这 需要 考虑 消去 时 以 及 解 三 角 方程 组 
MIS AGRE. 记 住 在 置换 运算 中 没有 合 入 误差 , 从 定理 2.3.2 不 难 证 明 计算 出 来 
的 满足 (A+ E) =b, 其 中 
|E| < nu(3| A| + 5Ê" LEO) + O(u?). (3.4.3) 
这 是 我 们 假定 P ÈM Ù 是 以 上 算法 产生 的 已 , 和 U 的 计算 形式 . 选 主 元 保证 
L 的 元 素 不 超过 1. 所 以 [as <n. 因而 我 们 有 界 
|El < nu(3| Alloo + 5n||Ulloo) + O(u?). (3.4.4) 
下 面 的 问题 是 估计 (lo 定义 增长 因子 p: 
| 
P = S [Alle 
这 里 A” Bsa AU! = M&E,--- MiE,A 的 计算 值 . 则 有 
Ellos < 8n7p||Alloou + O(u?). (3.4.6) 
此 界 能 否 与 理想 界 (3.3.1) 相 比 取决 于 增长 因子 p 的 大 小 . (因子 n? 在 实际 中 不 太 
重要 , 在 此 讨论 中 不 予 考虑 .) 此 增长 因子 指出 在 消去 过 程 中 元 素 能 有 多 大 . 在 实际 


(3.4.5) 
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中 , o 的 量 级 常常 是 10, 但 它 也 可 能 大 到 2^—1. 即便 如 此 , 大 多 数 数值 分 析 专 家 认 
为 , 实际 的 带 列 选 主 元 的 高 斯 消去 法 中 元 素 讯 速 增长 的 情况 是 非常 罕见 的 . 所 以 该 
方法 可 以 放心 使 用 . 

例 3.4.3 设 带 列 选 主 元 的 高 斯 消去 法 用 于 问题 


0.001 1.00 zi | | 1.00 
1.00 2.00 ao | | 3.00 
假设 浮 点 运算 的 GB = 10,t= 3, 则 
p-|' a -| 1.00 0 | o. pm t| 
1 0 0.001 1.00 0 1.00 
UR & = (1.00,0.996)T. 试 比 较 例 3.3.1. 
例 3.4.4 AER 之 定义 为 
1l, w@Ri=jRj=n, 
Qij = —1, te Xd > j, 
0, 其 他 . 


n) A 的 LU 分 解 满足 [Lis | <1 有 unn = 2"-1. 
3.4.7 “分 块 高 斯 消去 
带 列 选 主 元 的 高 斯 消去 法 可 整理 成 主要 为 3 级 运算 . 我 们 给 出 分 块 外 积 的 详 


细 过 程 , ATER gaxpy 和 分 块 点 积 也 同样 是 可 能 的 . JL Duyde and Duff(1988). 
BAER”, 为 清楚 起 见 假定 n= rN. 将 A 划分 为 


A 
A= Anu Aig 
A2 A22 


T n-=-r 


分 块 消去 的 第 一 步 是 典型 的 . 它 的 做 法 如 下 : 
e 用 标量 的 带 列 选 主 的 高 斯 消去 法 ( 即 算法 3.4.1 的 长 方形 式 ) 计算 置换 阵 
P,cR?*^, 单位 下 三 角形 矩阵 Li; € R7 和 上 三 角形 矩阵 UER" 使 得 


r|- 
Ag) 
。 将 已; 作用 于 A 的 其 他 部 分 
Ais =P, Ai | 
A22 A22 


。 求 多 右 端 项 的 下 三 角 问 题 


T 


nor 


LuU n =Å 
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。 进行 3 级 修正 
A = Az; 一 工 21U12. 


利用 这 些 计算 我 们 得 到 分 解 
pan |e 0 Is i| i Ui | 
Lo In- 0 A 0 l4. 
BUS, 以 上 做 法 可 重新 用 于 A 的 前 7 9j. 
一 般 地 ,分 块 算法 的 第 大 步 ( 人 和 EX N—1) H+ (n-(k-1)r)xr E 

阵 做 标量 的 高 斯 消去 法 .求解 一 个 + x (n — kr) 的 多 右 端 项 问题 以 及 进行 维 数 为 
(n — kr) x (n — kr) 的 3 级 修正 . 整个 算法 的 3 级 比例 大 致 为 1 AV 因此 , 此 方 
法 在 N 很 大 时 主要 是 矩阵 乘法 . 
3.4.8 ”全 选 主 元 


另 一 个 选 主 元 策略 称 为 全 选 主 元 法 , 它 具有 其 对 应 增长 因子 界 比 2071 小 得 多 
的 性 质 ， 我们 重 述 , 在 列 选 主 中 第 不 个 主 元 是 从 当前 列 的 一 部 分 A(k : n,k) PẸ 
R. 在 全 选 主 元 法 中 , 是 把 当前 子 和 矩阵 A(k : n, k:n) 中 的 最 大 元 素 置 换 到 (k, k) 位 
置 . 这 样 我 们 求 得 上 三 角 分 解 : Mn_1En_1.…M1iE1AF1.… Fn- =U, 在 第 k 步 
时 , 要 处 理 的 矩阵 是 


AC-D = MyEpi: Mi EAF Fa 


(Er AS) Fy)ge| = max (ExAU 7? Fp). 
k&ij&n 


类 似 于 定理 3.4.1, 我 们 有 以 下 结论 . 

定理 342 ” 设 带 全 选 主 元 的 高 斯 消去 法 用 来 计算 上 三 角 分 解 

M, GE Mi Ei AF1 7o Fn- =U, (3.4.7) 
则 有 
PAQ = LU, 

RP P= Ena Bi1,Q@ 二 Fi.…Fn_1, 上 是 满足 于 |lij| <1 MPEP EAB. 
LHE k 列 在 对 角 线 以 下 的 部 分 是 第 上 个 高 斯 向 量 的 置换 形式 .确切 地 说 , wR 
My —I —7(9el, B L(k+1:n,k) = g(k +1: n) HP g = Esa e Exar, 

证 明 ”此 证 明 与 定理 3.41 之 证 明 类 似 . 详细 证 明 留 给 读者 ， 口 

以 下 是 带 全 选 主 元 的 高 斯 消去 法 的 细节 . 

算法 3.42 ( 带 全 选 主 元 的 高 斯 消去 法 ) ”本 算法 计算 全 选 主 元 分 解 PAQ = 
LU, Kop L AMPS ABREU 是 上 三 角形 矩阵 . P= En E, Q = 
Fio- Fa 是 交换 置换 矩阵 之 乘积 . A(1 : kk) 由 U(1:k,k) RRS ( =1:7n). 
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A(k+1:n,k) 3 L(k--1:m,k) FMS (k — 1:n — 1). Ey 交 换 第 天 行 和 第 p(k) 
AF, Fy 交换 第 大 列 和 第 alk) R. 
fork 2i:n—1 
RRBR RS usnFekorACn 4 u for RH 
|A(u, A)| = max(|A(, 3) :i=k:n,j= k:n} 
A(k,1:n) o A(u,1:n) 
A(1:n,k) e A(1:n,X) 
p(k) =p 
q(k) — A 
if A(k, k) #0 
rows=k+1:n 
A(rows, k) = A(rows, k)/A(k, k) 
A(rows, rows) = A(rows, rows) — A(rows, k) - A(k, rows) 
end 
end 
此 算法 需要 2n3/3 个 flop 和 O(n?) 次 比较 . 与 列 选 主 不 同 , 全 选 主 元 法 由 于 
每 步 的 两 维 数组 搜索 需要 增加 很 大 的 选 主 元 工作 量 . 


3.4.9 ”关于 全 选 主 的 说 明 


假定 rank(A) =r <n, WHE r +1 步 之 前 A(r -1:n,7--1:m) — 0. 这 意味 着 
E, = Fy = My =1 (k=r+1:n). 所 以 算法 可 在 r 步 之 后 结束 , 所 得 到 的 分 解 为 


Zi 0 | is Ui» | 

L4 Iner 0 0 

这 里 Lu 和 Un Érxr,La MUR Æ(n-r)xr. 因此 , 带 全 选 主 元 的 高 斯 消 
去 法 原则 上 可 用 来 确定 矩阵 的 秩 . 但 是 , 舍 入 误差 使 得 碰 到 精确 的 零 主 元 不 太 可 能 . 
在 实际 中 , 如 果 在 十 1 步 中 主 元 是 充分 小 , 则 我 们 可 以 “断言 ”4 的 秩 为 T. 决定 
数值 秩 的 问题 将 在 5.4 节 中 详细 讨论 . 


Wilklhson(1961) 证 明了 在 精确 运算 下 矩阵 AU? = NM 本 IMT.4 盏 FE 
的 元 素 满 足 


PAQ = LU — 


la 人 | < k3 (2.3U? . .. &/79)!? max [a;;|, (3.4.8) 


此 上 界 是 关于 大 较 慢 增长 的 函数 . 该 结果 以 及 大 量 的 实例 表明 p 总 是 不 太 大 (如 
p = 10), 这 让 我 们 推断 带 全 选 主 元 的 高 斯 消去 法 是 稳定 的 . 该 方法 在 (3.3.1) 的 意 
义 下 精确 求解 一 个 附近 的 线性 方程 组 (A + Ble = b. 但 是 , 在 实际 中 , 除了 需要 确 
定 矩 阵 的 秩 , 看 不 出 有 什么 理由 选择 全 选 主 元 而 不 是 选择 列 选 主 元 法 . 

例 3.4.5 Je Xif ik X 0 = 10,0 — 3 和 带 全 选 主 元 的 高 斯 消去 法 应 用 于 
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0.001 1.00 zı | | 1.00 
1.00 2.00 z2 | | 3.00 |" 
0 1 0 1 
P = = 
$= | 1:00 0.00 oe 2.00 1.00 
0.50 1.00 0.00 0.499 
E $ = (1.00,1.00)T. 将 其 与 例 3.3.1 和 例 3.4.3 比较 . 
3.4.10 TYREN 


在 某 些 特 定 情况 不 必 选 主 元 . 指明 这 些 情 形 是 重要 的 , 因为 选 主 元 常会 影响 方 
法 的 效率 . 为 举例 说 明 选 主 元 可 安全 地 略 去 , 我 们 考虑 对 角 占 优 矩 阵 . 如 果 


lal > 》 lail, t=1 DD 
pm 
则 我 们 称 A € RX” 是 严格 对 角 占 优 的 . 以 下 定理 表明 此 性 质 可 保证 很 好 的 不 用 
选 主 元 的 LU 分 解 . 
定理 3.4.3 de X AT 是 严格 对 角 占 优 的 , MA ALU 分 解 且 [l| &« 1. RA 
话说 , 如 果 应 用 算法 3.4.1, 则 P =I. 
证 明 AA 划分 为 


4-| 1 wt 
v C 


其 中 o 是 | x | 的 . 注意 到 应 用 一 步 外 积 形式 的 LU 分 解 后 我 们 有 


a we} | 1 Of} 1 0 a wT 

v CI v/a I 0 C-vw"/a 0 I| 
如 果 我 们 可 证 B = C 一 vw?T/a 的 转 置 是 严格 对 角 占 优 的 , 则 对 n 进行 归纳 法 可 
得 到 定理 . 这 是 由 于 我 们 可 假定 B 的 LU 分 解 为 B= LU, 即 得 


A= 1 0 a wt 
v/a Li 0 Ui 


但 是 , 证 明 BT 是 严格 对 角 占 优 的 是 显而易见 的 . 从 定义 我 们 有 
n—1 n—l n—l n—1 
do lbs = Do ley — viwj/ol < > leyl + ra » hi 
2 8 5 5 


LES 


«(ejl — ul + T4 (o - pol) 


|= [bis]. ü 


Wy vy 
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3.4.11 ”一些 应 用 


我 们 以 一 些 例子 结束 本 节 , 这 些 例子 表明 对 于 不 同 线性 方程 如 何 用 算 阵 分 解 来 
考虑 . 
假定 A 是 非 奇 异 的 且 是 nxn 的 , B 是 nxop 的 . 考虑 问题 : R X(n x p) 使 
得 AX = B, 即 多 右 端 项 问题 . 如 果 X = [e ,zp] 和 BB = [bi bpl 是 列 划 
分 , 则 
计算 PA=LU 
fork —1:p 
8t Ly = Pb. (3.4.9) 
f Urk =y 
end 
注意 4 仅 需 分 解 一 次 . 如 果 B = In 则 我 们 得 到 了 4 一 . 
另 一 个 例子 是 “在 循环 外 ”得 到 LU 分 解 . 假定 我 们 需要 求解 线性 方程 组 
Ate =b, 其 中 A c R"*x",b e R^, k 是 正 整数 ， 一 种 方式 是 先 求 出 C = ATR 
后 求解 Ca = b. 但 是 矩阵 乘法 可 完全 避免: 
| 计算 PA= LU 
for j=1:k 
用 Ly = Pb 之 解 禾 盖 了 (3.4.10) 
用 Ur=b 2 #A E D. 
end 
BERIHA We 4 DEA ht ee RE. 假定 A cR”, deR” 
Alc eR", 我 们 要 计算 s =T Ad. 一 种 方式 是 如 上 所 建议 的 计算 X = A", 然 
后 求 s = cTXd. 更 有 效 的 方法 是 计算 PA = LU 然后 解 三 角 方 程 组 Ly = Pd 和 
Uz = y. 其 结果 是 s = clo. 此 例子 所 强调 指出 的 是 , 当 一 个 公式 中 有 道 和 矩阵 时 ， 
我 们 应 该 从 解 线性 方程 组 的 角度 来 考虑 而 不 是 显 式 求 逆 . 


习 题 


34.1 $ A— LU 是 nxn 算 阵 和 的 LU 分解 且 |l;| « 1. Ral 和 wi 分 别 表 示 A 
ALU 的 第 i 行 . 证 明 


j=l 
并 且 用 它 证 明 Ullo <2” |LAllso. (提示 : 取 模 且 用 归纳 法 .) 
3.4.2 ”证 明 如 果 PAQ = LU 是 由 带 全 选 主 元 的 高 斯 消去 法 所 求 得 , 则 U (4, i:n) PE 
何 元 素 的 绝对 值 都 不 大 于 Juil. 
3.4.3 ”假设 4 cR” 有 LU RB LAU 已 知 . 给 出 一 个 大 约 (n— 3) + (n- i) 
个 flop 的 计算 AC 中 (i, 5) 元 素 的 算法 . 
3.4.4 ”假设 X 是 通过 (3.4.9) 所 求 出 的 数值 逆 . 给 出 AX 一 TIF ZEF. 
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3.4.5 ”证 明定 理 3.4.2. 
3.4.6 ”推广 算法 3.4.3 使 其 可 分 解 任何 长 方 矩阵 . 
3.4.7 ”给 出 3.4.7 中 所 简 述 的 分 块 消去 法 之 详细 形式 . 


本 节 注 释 与 参考 文献 


算法 3.4.1 的 Agol 形式 由 下 文 给 出 . 
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A. Edelman and W. Mascarenhas (1995). “On the Complete Pivoting Conjecture for a 
Hadamard Matrix of Order 12,” Linear and Multilinear Algebra 38, 181-185. 
在 元 素 增长 的 讨论 中 构造 称臣 高 斯 消去 法 程序 是 有 趣 的 ， 这 是 因为 为 了 尽 可 能 少 地 填充 

稍 大 的 乘 子 , 有 时 是 可 接受 的 . 见 : 


35 改进 与 精度 估计 107 


I. S. Duff, A. M. Erisman, and J. K. Reid (1986). Direct Methods for Sparse Matrices, 
Oxford University Press. 
关于 小 主 元 与 接近 奇异 的 关系 可 见 参考 文献 : 
T. F. Chan (1985). “On the Existence and Computation of LU Factorizations with small 
pivots,” Math. Comp. 42, 535-548. 
我 们 没 讨论 的 一 种 选 主 元 策略 是 成 对 选 主 元 . 在 该 方法 中 , 一 个 2 x 2 高 斯 变换 用 来 把 A 
的 下 三 角 部 分 消 为 零 . 此 技巧 在 某 些 特 定 的 多 处 理 计算 机 上 很 适合 . 因为 每 步 只 是 相 邻 之 行 的 
组 合 . 见 ; 
D. Sorensen (1985). “Analysis of Pairwise Pivoting in Gaussian Elimination,” IEEE Trans. 
on Computers C-34, 274-278. 
XT GE — 2SABEEAGDE 3E TOF GU ICH. 可 见 ; 
S. Serbin (1980). "On Factoring a Class of Complex Symmetric Matrices Without Pivoting," 
Math. Comp. 35, 1231-1234. 
正如 标量 高 斯 消去 法 有 六 种 “标准 ”形式 , 分 块 的 高 斯 消去 法 也 有 六 种 标准 形式 .关于 这 
些 方法 及 实现 之 讨论 可 见 : 
K. Gallivan, W. Jalby, U. Meier, and A. H. Sameh (1988). “Impact of Hierarchical Memory 
Systems on Linear Algebra Algorithm Design,” Int’l J. Supercomputer Applic.2, 12-48. 


3.5 ”改进 与 精度 估计 


假定 用 带 列 选 主 元 的 高 斯 消去 法 求解 nxn 线性 方程 组 Ar = b. 设 所 用 的 浮 
点 运算 是 t 位 , 基 是 6. 公式 (3.4.6) 就 是 说 , 如 果 增 长 因子 适中 , 则 计算 解 c 满足 


1 
(A+ E)& =b, |El ~ ullAllo, u= 36 (3.5.1) 


在 本 节 , 我 们 考查 此 结果 的 实际 含意 . 首先 我 们 强调 有 必要 区 分 余 量 和 精度 . 然后 
讨论 加 权 、 迭 代 改 进 和 条 件数 估计 . 关于 这 些 方向 的 详细 讨论 可 见 Higham(1996). 

我 们 先 做 两 点 记号 的 说 明 . 第 一 , 整 节 中 用 到 的 都 是 无 穷 范 数 , 因为 它 在 舍 入 
误差 分 析 以 及 实际 误差 估计 中 十 分 方便 . 第 二 , 我 们 在 本 节 提 到 “高 斯 消去 法 ”时 
是 指 带 某 种 稳定 化 主 元 技巧 (如 列 选 主 元 ) 的 高 斯 消去 法 . 


3.5.1 RESME 


线性 方程 组 Ar — b 之 计算 解 e 的 余 量 是 向 量 5 一 As. 小 的 余 量 意味 着 At 
能 有 效 地 “预测 ” 右 端 项 b. AA (3.5.1) 我 们 有 |b- Allo = ullAllooll#l}oo, 所 以 
得 到 下 列 启示 . 

启示 一 高 斯 消去 法 产生 的 解 人 之 余 量 是 比较 小 的 . 

小 余 量 并 不 意味 着 高 精度 . 结合 (3.3.2) 和 (3.5.1), 得 到 
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Eis ~ ue (40) (3.5.2) 
这 证 明了 第 二 个 指导 原则 . 

启示 二 如 果 单 位 会 入 误差 和 条 件数 满足 恒心 10-4 和 koo(4) © 107. 则 高 斯 
消去 法 产生 的 解 鲍 大 约 有 d 一 g 位 十 进 制 有 效 数字 . 

WR ukoo CA) 很 大 , 则 称 A 相对 机 器 精度 是 病态 的 . 

为 说 明 启 示 一 和 启示 二 , 考虑 方程 组 


0.986 0.579 | | z1 | | 0.235 
0.409 0.237 || z2 | | 0107 |" 
其 条 件数 kol A) ~ 700, BE z = (2, -3)7. 以 下 是 不 同 机 器 精度 下 的 结果 . 


忱 一 站 lc [b ~ A&li-e 


? : ái d: e ETE 
10 3 2.11 一 3.17 5 x 1072 2.0 x 1073 
10 4 1.986 -2.975 8 x 1073 1.5 x 10-4 
10 5 2.001 9 -3.003 2 1 x 1078 2.1 x 10-8 
10 6 2.000 25 -3.000 94 3 x 1074 4.2 x 1077 


是 否 对 计算 解 2 满意 取决 于 原始 问题 之 需求 . 在 许多 应 用 中 , 精度 并 不 重要 但 
小 余 量 却 很 关键 . 在 这 些 情 形 下 , 高 斯 消去 法 求 出 的 解 % 也 许 就 足够 了 . 另 一 方面 ， 
当 多 中 有 效 数字 之 个 数 有 关 紧 要 时 , 问题 就 更 复杂 , 本 节 剩 下 的 讨论 都 与 之 有 关 . 
3.5.2 ”加 权 
设 8 是 机 器 的 进 制 基 , sg OEE D, 和 Do: 
D; = diag(@”, tU B7"), 
D; = diag(B°,.:. , 8°"). 
nxn 线性 方程 组 Ax = 5 之 解 可 通过 用 高 斯 消去 法 求解 加 权 方 程 组 (D1 AD2)y = 
D7!1b 然后 令 z = Day 得 到 . A, b 和 y 的 加 权 仅 需 On?) 个 flop 而 且 没 有 舍 入 误 
差 . 注意 到 D1 加 权 方 程 而 D. 加 权 未 知 量 . 
从 启示 二 知 . He Ag bo Ay 的 计算 值 , 则 
|Dz'(£-2z)ls l9 — yl _ E 
pal = we ^ ukæ( DI AD3). (3.5.3) 
FE, 当 能 使 «S (D; AD2) 远 小 于 sco(4) 时 ， 我 们 可 得 到 相对 更 精确 的 2, 只 要 
误差 是 用 “D2” WA lelo = D7 zlo 定义 的 . 这 就 是 加 权 的 目的 . 注意 到 这 包 
含 了 两 个 问题 , 其 一 是 加 权 问 题 的 条 件数 , 其 二 是 在 D2 范 数 下 评价 误差 的 适当 性 . 
一 个 有 意义 但 十 分 困难 的 数学 问题 是 对 一 般 对 角 和 矩阵 ID 和 不 同 p RK io( Di 
AD.) 的 精确 极 小 值 . 这 方面 的 结果 在 实际 中 没有 什么 用 处 . 但 是 ， 这 并 不 让 人 失 
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望 , AD (3.5.3) 是 一 个 大 致 估计 式 , 而 精确 地 极 小 化 一 个 近似 界 没什么 意义 . 我 们 
需要 的 是 改进 计算 解 è 的 精度 的 快速 近似 算法 . 

这 一 变换 的 特殊 情形 是 简单 行 加 权 . 在 此 方法 中 D2 EMA BF Di, 
使 得 Dij A 每 行 大 约 有 相同 的 无 穷 范 数 . 行 加 权 降 低 了 在 消去 法 中 把 一 个 很 小 的 
数 加 到 一 个 很 大 的 数 的 可 能 性 , 这 种 情形 严重 损失 精度 . 

比 简单 行 加 权 稍微 复杂 的 是 行 - 列 平衡 . 其 目的 是 选择 D1 和 DD, 使 得 D; AD; 
的 每 一 行 和 每 一 列 的 无 穷 范 数 都 属于 区 间 [1/6,1], 其 中 6 是 浮 点 系统 的 基 . 关于 
这 方面 的 工作 可 见 McKeeman (1962). 

对 于 简单 行 加 权 和 行 - 列 平衡 没 “ 解 决 ” 加权 问题 这 一 点 不 必 过 分 强调 . 事实 
上 , 如 果 没 有 加 权 每 种 方法 都 可 能 得 到 一 个 更 差 的 t 关于 这 一 点 的 详细 讨论 可 见 
Forsythe and Moler(1967, 第 11 章 ). 根本 性 的 建议 是 对 方程 和 未 知 量 的 加 权 必 须 针 
对 不 同 问题 进行 . 通用 性 的 加 权 技 巧 是 不 可 靠 的 . 最 好 是 基于 原始 问题 描述 的 每 个 
oi; 之 重要 性 来 进行 加 权 (如 果 需 要 加 权 的 话 ). 麻 量 单位 以 及 数据 误差 也 应 考虑 . 

例 3.5.1 (Forsythe and Moler (1967), 第 34, 40 页 ) de 


10 100 000 zi 100 000 
1 1 32 2 ` 


以 及 其 等 价 的 行 加 权 问 是 


0.0001 1 za 1 
paei 
都 用 B = 10,t = 3 TEE RR, 则 计算 解 分 别 为 全 = (0.00,1.00)* f & = 
(1.00, 1.00). 注意 到 x = (1.001--- ,0.999.…)T 是 精确 解 . 


3.5.3 ”和 迭代 改进 


# Ar = b 通过 列 选 主 元 法 PA = LU 已 求解 , 假定 我 们 需要 改进 计算 解 全 


的 精度 . 如 果 我 们 执行 
r=b-— Aĉ 


解 Ly = Pr 

fe Uz=y 

Inew — £+2 
则 在 精确 计算 下 ，Azxuew = Af + Az = (b-r)+r =b.. 不幸 的 是 , 这 些 步骤 
的 浮 点 运算 所 得 到 的 mus. 不 会 比 2 更 精确 ， 这 一 点 是 在 意料 之 中 的 , 这 是 由 于 
P = Ab- 42) 如 果 有 有 效 数字 的 话 , 也 只 有 很 少 几 位 有 效 数字 . (回忆 启示 一 .) A 
而 z = R(A7!r) = A71 noise ~ noise 从 改进 & 精度 的 角度 来 说 是 一 个 十 分 差 的 
修改 . 但 是 , Skee(1980) 给 出 了 误差 分 析 , 它 表明 , 从 向 后 误差 的 角度 看 , (3.5.4) 何 
时 可 给 出 一 个 改进 的 znew. 确切 地 说 , 当 

r = (IA) A) (max(]A|læ)):/ min(|Alie)):) 


(3.5.4) 
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不 是 太 大 时 , 则 (3.5.4) 给 出 anew 使 得 对 非常 小 的 EA (A+ E)anew =b. 当然 ， 
当 带 列 选 主 元 的 高 斯 消去 法 用 来 求解 时 , 计算 解 $ 满足 一 个 附近 的 方程 . 但 是 这 对 
某 些 保持 稀疏 性 的 选 主 元 技巧 来 说 并 不 一 定 成 立 . 在 此 情形 下 , 固定 精度 迭代 改进 
(3.5.4) 是 十 分 值得 的 , 也 是 经 济 的 . 见 Arioli, Demmel, and Duff(1988). 

要 使 (3.5.4) 给 出 更 精确 的 x, 有 必要 用 扩充 精度 的 浮 点 运算 来 计算 余 量 ! 一 42. 
典型 地 , 如 果 + 上 位 数 运算 用 来 计算 PA = LU, c, y 和 z, 则 用 2t 位 数 运算 , 即 双 精 
度 来 计算 b- As. 这 一 过 程 可 以 迭代 , 也 就 是 说 , 一 旦 我 们 计算 了 PA = LU 和 初 
始 化 = = 0, 我 们 可 重复 如 下 过 程 : 

r=b— Az ( 双 精 度 ) 
8 Ly = Pr f$ y. 
解 Uz=y 得 z. 


r=gr+z. 


RANA RARER CANARE > 时 必须 用 原始 的 A， 关 于 
(3.5.5) 表现 的 基本 结论 总 结 如 下 .… 

启示 三 ”如 果 机 器 精度 u 和 条 件数 满足 us 1077 和 KS, (A) e 109, 则 执行 
(3.5.5) k 次 之 后 , m 有 大 约 min{d,k(d — q)) 位 正确 的 有 效 数字 . 

精 略 地 说 , 如 果 uroo(4) < 1, 则 迭代 改进 完全 可 给 出 一 个 全 ( 单 ) 精度 正确 的 
解 . 注意 到 此 过 程 是 相对 经 济 的 . 每 次 改进 的 工作 量 为 O(n?), 相 比 之 下 原始 的 分 
解 PA = LU 的 工作 量 为 O(n3). 当然 , 若 4 相对 于 机 器 精度 是 足够 病态 的 , 则 得 
不 到 任何 改进 . 

混合 精度 迭代 改进 的 一 个 主要 缺点 是 它 的 实现 是 与 机 器 相关 的 , 对 于 希望 能 广 
泛 流传 的 软件 来 说 , 这 不 会 受到 鼓励 . 方法 的 另 一 个 不 足 之 处 是 需要 保 窗 A 的 原 
始 数据 . 

另 一 方面 , 混合 精度 迭代 改进 在 具有 累加 内 积 ( 即 求 4 的 行 与 z 的 双 精 度 内 
积 ) 功能 的 机 器 , 常常 是 很 容易 实现 的 , 在 机 器 位 数 不 长 时 , 用 选 代 改 进 方法 可 极 大 
地 拓宽 求解 Aw = b 问题 的 范围 . 

例 3.5.2 wR (3.5.5) 用 于 方程 组 


0.986 0.579 xı | _ | 0.235 
0.409 0.237 zo | | 0.107 |’ 
设 B=10,t=3. 则 近代 改进 给 出 如 下 解 序列 : 


à | 2H 1.99 200 | |. 
—|-3417|'| -299 | | -3.00 |" 


HAMA e = (2, 一 3) 


(3.5.5) 
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3.5.4 ”条 件数 估计 


假设 我 们 通过 PA = LU 已 求解 Az = b, 现在 希望 确定 计算 解 e 中 的 正确 
有 效 数字 的 位 数 .从 启示 二 知 我 们 需要 估计 条 件数 Koo (A) = ||Allooll Aloo. 计算 
|Alloo 不 成 问题 , 因为 我 们 仅 需 用 公式 

[Aloo = max S "las. 
难点 在 于 因子 14-!。， 一 种 想象 的 做 法 是 估计 DX], 其 中 X = (多,… n) 
而 i 是 Ax; = e; ( 见 3.4.9 节 ) 之 计算 解 . 这 一 方法 的 不 足 是 它 的 计算 量 : 计算 
oo = ||Allool|Xlloo 的 工作 量 大 约 是 计算 & 的 三 倍 . 

条 件数 估计 的 中 心 问题 是 假定 已 有 PA = LU 或 后 面 各 章 所 给 出 的 分 解 时 用 
O(n?) 个 flop 来 估计 条 件数 ，Forsythe and Moler(SLE, 第 51 页 ) 所 给 出 的 一 种 方 
法 是 基于 和 迭代 改进 以 及 粗略 估计 式 usco(4) © |lZI]00/I]2lloo, 其 中 z 是 (3.5.5) 中 对 
z 的 第 一 次 修正 . 虽然 估计 条 件数 的 玉 作 量 为 Oln), 但 它 具 有 和 迭代 改进 的 缺点 , BT 
机 器 相关 . . 

Cline, Moler, Stewart, and Wilkinson(1979) 提出 了 一 个 没有 这 一 缺陷 的 估计 条 
件数 的 非常 成 功 的 方法 . 它 基 于 对 以 下 关系 式 


Ay = d => ||A™ | > Ilylloo/lldlleo 
的 利用 . 此 方法 的 基本 思想 是 选取 d 使 得 y 的 范 数 尽 可 能 大 , 然后 令 
koo = || Alloollylloo/lldlleo- 


该 方法 的 成 功 取决 于 (vlla /lidllw 与 它 的 极 大 值 IA"! loo 的 靠近 程度 . 

考虑 当 4 = 和 是 上 三 角形 矩阵 的 情形 . d y 的 关系 完全 由 下 面 的 列 形式 的 
向 后 消去 所 确定 : 

p(l:n)=0 

fork —n:-1:1 

选取 d(k) 
y(k) = (d(k) — p(k))/T(k, k) (3.5.6) 
p(1:k—1)— p(1:k— 1) - y(K)T(1: k -1,k) 

end 
通常 , 我 们 用 此 算法 求解 一 给 定 的 三 角 方程 组 Ty = d. 但 是 , 这 里 我 们 自由 选取 右 
端 项 d, 约束 条 件 是 y 相对 于 d, 尽 可 能 大 . 

一 种 使 得 y 增长 的 方式 是 从 集合 {一 1,1} 中 选取 d(k) 使 y(k) 尽 可 能 大 . 如 果 
p(k) > 0, 则 取 d(k) = —1. 如 果 p(k) < 0, WE d(k) = +1. BAA, (3.5.6) 使 得 
d(k) = —sign(p(k)). 由 于 此 时 d 是 形 如 d(1 : n) = (41,---,+1)7 的 向 量 , 我 们 得 到 
估计 式 Roo = ||Tloollylloo- 
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如 果 d(k) < (—1,41) 使 得 同时 增长 y(k) 和 p(1: k— 1) - T(1 : k — 1, k)y(k), 
则 得 到 一 个 更 好 的 估计 式 . 确切 地 说 , ER k 步 我 们 计算 
y(k)* = (1 — p(k))/T(k, k) 
s(k)* = |y(k)*| + llp(1 : k — 1) +70: k—1,k)y(k)* [ls 
y(k)~ = (71-— p(k))/T(k, k) 
s(k)~ = |y(K) |+ [lps k— 1) c TQ : k —1,k)y(k) "ls 
& 
y = | y(R)+， 如 果 s()+ > s()- 
y(k)-， 如 果 s(k)* < s(k)-， 
这 就 给 出 了 下 列 算法 . 
算法 3.5.1 (条 件数 估计 ) HT CR 是 非 奇 异 上 三 角形 答 阵 .本 算法 计 
算 单位 oo 范 数 向 量 y HARE n A ||Tylloo ~ 1/||T | fe Ros (T). 
p(l:n)=0 
fork —n:-1:1 
y(k)* = (1 — p(k))/T(k, k) 
y(k)~ = (-1— p(k))/T (k, k) 
p(k)* = p(1:k — 1) -- T(1: k — 1, k)y(k)* 
p(k) —-p(1:k—1) - TY : k — 1, k)y(k)^ 
if [y(k)* | + lip (&)* lli > [y (8) | + Hp) [he 
y(k) = y(k)* 
p(1:k— 1) = p(k)* 
else 
y(k) = y(k)~ 
p(1:k—1)-— p(k)” 
end 
end . 
& = |ylloollT loe 
y = y/llylloo 
此 算法 需要 普通 向 后 消去 法 几 倍 的 工作 量 . 
现在 我 们 描述 估计 非 奇异 方 阵 A 的 条 件数 , 假定 它 的 分 解 PA = LU 已 知 : 
e 应 用 下 三 角形 式 的 算法 3.5.1 于 UT Bal UTy = d 的 大 范 数 解 . 
e 解 三 角 方程 组 Lr = y, Lw = Pr, Uz =w. 
* Roo = || Allool|Zllo0/|I"lleo- 
YER ll < AT Mloollrlloo. 此 方法 基于 几 个 直观 结果 , 首先 , 如 果 A 是 病态 的 
E PA = LU, 则 所 对 应 的 U 通常 也 是 病态 的 . 下 三 角形 矩阵 工 一 般 是 良 态 的 . 于 
是 将 条 件数 预 估 方 法 用 于 U 比 用 于 L 更 有 益 . 因为 向 量 > 是 ATP? r =d 之 解 ， 
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所 以 r 一 般 靠 近 omnl A) 所 对 应 的 左 奇异 向 量 . 具有 这 种 性 质 的 右 端 项 使 得 方程 
组 Az =r 有 很 大 的 解 . 

在 实际 中 发 现 , 我 们 所 简 叙 的 条 件数 估计 方法 能 给 出 真实 的 条 件数 比较 好 的 量 
级 之 估计 . 


3j B 


3.5.1 “举例 说 明 可 能 有 多 于 一 种 的 平衡 矩阵 的 方法 . 
3.5.2 Hi 8—10,£—2 运算 , 和 带 列 选 主 的 高 斯 消去 法 求解 


11 15 Z| | 7 
it 
进行 一 步 欠 代 改进 , 用 t = 4 运算 计算 余 量 (不 要 忘记 将 计算 的 余 量 会 入 到 两 位 数 ). 
3.5.3 HP(A+E)=LU,#+ P BRM, L 是 满足 |iij| < 1 的 单位 下 三 角形 矩 
BE, Ò 是 上 三 角形 矩阵 . 证 明 Rol A) > LATI / ILE [oo +), 其 中 u= min [às]. 结论 是 当 列 
选 主 的 高 斯 消去 法 用 于 A 时 , 如 果 有 小 主 元 , 则 4 是 病态 的 . 反之 不 然 . ( 令 A= Bn.) 
3.5.4 (Kahan, 1966) 方程 组 Ax = b, 有 解 æ = (10719, —1, A)", 其 中 


2 -1 1 2(1+ 10 1?) 
A=| -1 107? 107? b= —1071° 
1 1079 19770 10-1? 


(a) 证 明 如 果 (A+ E)y = b Fl |E| < 1075|AL, W jæ — y| < 10 "|x]. 这 就 是 说 A 的 元 素 
中 小 的 变化 不 会 导致 z 的 大 的 变化 , 尽管 koo(4) = 1079. (b) 定义 D = diag(10 ^, 10°, 10°). 
证 明 kol DAD) < 5. (c) 利用 定理 2.7.3 来 解释 所 发 生 的 情况 . 


3.5.5 ”考虑 矩阵 
10 M -M 
pT2.19 1 -M M | wer 
0 0 1 0 
0 0 0 1 
当 应 用 (3.5.6) B. d(k) = —sign(P(k)) 时 可 得 到 什么 样 的 roo(T) 之 估计 ? 算法 3.5.1 得 到 什 


么 样 的 估计 ? 真 的 koo (T) 是 什么 ? 
3.5.6 BAA 3.5.1 应 用 于 (2.7.9) 中 的 互 。 时 给 出 什么 条 件数 估计 ? 
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数值 分 析 的 一 个 基本 原则 是 : 求解 任 一 问题 都 应 利用 它 的 结构 特性 . 在 数值 线 
性 代数 中 , 这 意味 着 当 问 题 中 出 现 诸 如 对 称 性 、 正 定性 和 稀疏 性 等 特性 时 , 需要 将 
适用 于 求解 一 般 算 阵 的 算法 修改 , 使 其 效率 更 高 . 这 是 本 章 的 主题 , 我 们 的 主要 目 
的 是 设计 一 些 计算 特殊 LU 分 解 的 专用 算法 . 

首先 我 们 指出 当 A 对 称 时 三 角形 因子 LAU 的 关系 , 这 是 在 4.1 节 中 通过 
分 析 LDMT 分 解 得 到 的 . 随后 在 4.2 节 中 我 们 将 注意 力 转 到 4 为 对 称 正定 这 一 重 
要 的 情形 , 导出 稳定 Cholesky 分 解 . 这 一 节 也 讨论 了 非 对 称 正定 方程 组 .4.3 节 讨 
论 了 高 斯 消去 法 和 其 他 一 些 分 解法 的 带 状 形式 . 之 后 我 们 讨论 了 A 对 称 但 不 定 这 
一 有 趣 情形 . 4.4 节 中 我 们 对 此 问题 的 处 理 显示 了 数值 分 析 学 者 对 选 主 元 既 爱 又 恨 . 
我 们 喜欢 选 主 元 因为 它 能 保证 稳定 性 , 但 由 于 它 会 破坏 问题 的 结构 而 讨厌 它 . 幸运 
的 是 关于 对 称 非 定 方程 组 此 冲突 已 有 一 个 圆满 的 解决 办 法 . 

任何 分 块 带 状 矩 阵 , 其 本 身 也 是 带 状 矩阵 , dk 4.3 节 的 方法 仍 适用 . 但 是 坚持 
这 样 的 观点 有 时 并 不 值得 . 在 4.5 节 中 我 们 以 分 块 三 对 角 方 程 组 为 例 来 说 明 这 种 情 
ih, 同时 还 讨论 了 一 些 其 他 的 分 块 方程 组 . 

在 最 后 两 节 , 将 研究 一 些 很 有 意义 的 O(n?) 的 算法 , 这 些 算法 可 用 来 解 Van- 
dermonde 方程 组 和 Toeplitz WHA. 
预备 知识 

阅读 本 章 需 要 掌握 第 1 章 、2.1 节 ~2.5 节 、2.7 节 和 第 3 章 的 知识 , 本 章 各 节 
间 的 关系 如 下 : "m 


1 
41 节 42 节 一 43 节 一 44 节 


is 147 
补充 参考 文献 包括 George and Liu (1981), Gill, Murry, and Wright (1991), 
Higham (1996), Trefethen and Bau (1996), Demmel (1996). 本 章 用 到 的 MATLAB PS 
数 有 : chol,tril,triu,vander,toeplitz,fft. 与 LAPACK 相关 的 例 程 包括 : 


LAPACK: 一 般 带 状 矩阵 

解 AX=B 

求 条 件数 

改进 AX = B, ATX = B, AU X = B 并 给 出 误差 界 
解 AX = B, ATX = B, AU X = B 并 给 出 条 件数 
PA=LU 

H PA = LU # AX = B, ATX = B, AË X = B 
平衡 问题 


-GBSV 
-CGBCON 
-GBRFS 
-GBSVX 
-GBTRF 
-GBTRS 


第 4 章 特殊 线性 方程 组 ”117 


LAPACK: 一 般 三 对 角 和 矩阵 


-GTSV #AX=B 

-GTCON 求 条 件数 

_GTRFS 改进 AX = B, ATX = B, AN X = B 并 给 出 误差 界 
-GTSVX 解 AX = B, ATX = B, AEX = B 并 给 出 条 件数 
-GTTRF PA= LU 


H PA= LU # AX = B, ATX = B, A" X = B 


LAPACK: 满 对 称 正定 矩阵 
解 AX=B 

用 4 = GGT 求 条 件数 

改进 AX = B 并 给 出 误差 界 
解 AX = B 并 给 出 条 件数 


-PORFS 
-POSVX 


-POTRF A= GGT 
-POTRS H A= GG" f AX— B 
-POTRI A^ 


平衡 问题 


LAPACK: 带 状 对 称 正 定 矩阵 
解 AX=B 

用 A= GGT 求 条 件数 

改进 AX = B 并 给 出 误差 界 
解 AX = B 并 给 出 条 件数 
A= GGT 

Fi A= GGT R AX=B 


-PBRFS 
-PBSVX 
-PBTRF 


LAPACK: 三 对 角 对 称 正定 矩阵 
MAX=B 
用 A= LDLT 求 条 件数 


-PTCON 


-PTRFS 改进 AX = B 并 给 出 误差 界 
-PTSVX # AX = B 并 给 出 条 件数 
-PTTRF A= LDLT 


AA A= LDLT # AX =B 


LAPACK: MIJIET 
#AX=B 
用 PAPT = LDL! 求 条 件数 


-SYSV 
-SYCON 


-SYRFS 改进 AX = B 并 给 出 误差 界 

-SYSVX E AX = B 并 给 出 条 件数 

-SYTRF PAP" = LDLT 

-SYTRS 利用 PAP! = LDL? # AX=B 


A^ 


LAPACK: 三 角形 带 状 和 矩阵 


-TBCON 用 A= GGT 求 条 件数 
-TBRFS 改进 AX = B, AT X = B 并 给 出 误差 界 
解 AX-B,ATX-B 


4.4 LDMT # LDLT 分 解 


我 们 需要 发 展 一 种 能 利用 结构 的 求解 对 称 问题 AX = b 的 方法 . 为 此 , RN 
建立 一 种 变形 的 LU 分 解 , 将 4 分 解 为 三 个 因子 的 乘积 LDM", 其 中 D EXE 
EE, Al M 是 单位 下 三 角形 矩阵 . 一 旦 得 到 此 分 解 , 那么 就 可 以 通过 O(n?) RAR 
运算 求解 Ly = b (向 前 消去 ), Dz — y 和 Mz = z (向 后 迭代 ) 来 得 到 Ar = b 
的 解 . 引入 LDMT 分 解 的 目的 是 为 A 是 对 称 阵 的 情况 做 铺垫 , 此 时 A = AT, 则 
L=M. 基于 这 种 分 解 方法 的 工作 量 仅 为 高 斯 消去 法 的 一 半 . 后 继 的 内 容 讨论 选 主 
元 问题 . 

4.1.1 LDMT 分 解 


首先 看 一 下 LDMT 分 解 与 LU 分 解 之 闻 的 联系 ， 

定理 4.1.1 ”如果 A c R^*^ 的 所 有 顺序 主子 矩阵 都 是 非 奇 异 的 ， 则 存在 唯 
一 的 单位 下 三 角形 撼 阵 了 和 M 以 及 唯一 的 对 角 短 阵 D = diag(di,---,d,) 满足 
A=LDM". 

HEB] ”由 定理 3.2.1 An, 存在 4 的 分 解 A — LU. & D = diag(di,… ,dn), 其 
中 对 所 有 i = 1 :n, 有 d = wii. 注意 到 DD 是 非 奇 异 的 ,MT = DUU 是 单位 上 三 
角形 矩阵 . 因此 4 = LU = LD(D^U) = LDM". 唯一 性 可 由 定理 3.2.1 中 LU 
分 解 的 唯一 性 得 出 . 口 

由 上 面 的 证 明 过 程 可 以 看 出 , LDMT 分 解 可 由 如 下 方式 得 到 : 首先 通过 高 斯 消 
去 法 计算 A = LU, 然后 由 U = DM" 来 解 出 D M. 然而 , 通过 直接 计算 L, D 
和 M 能 导出 另 一 个 有 趣 的 算法 . 

假设 对 某 满足 1< ;j <n 的 j, 已 知 工 的 前 7-1 列 .D 的 对 角 元 di, d2:… dy_1 
和 M 的 前 1 一 1 行 . WRK LG +1: nj, M(j;1: j — 1) Md, 我们 取出 方程 
A=LDM' 中 第 j 列 的 等 式 , 具体 地 说 ， 


A(1:n,j) = Lv, (4.1.1) 


XB v = DMTe;. (4.1.1) 式 的 向 量 的 “上 半 部 ”将 v(1 : 3) 定义 为 已 知 的 下 三 角 
方程 组 : l | 

L(1:j1: jul: 9) 2 A0: 5,3) 
的 解 . 一 旦 求 得 v, 则 可 以 计算 得 

d(j) = v(i) 
M(j,i) =v(i)/d@), $—1:j—1. 
(4.1.1) 式 的 “下 半 部 * 有 关系 式 
L(jtl:ni:jw(1:j)— AG +1 inj), 
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它 重新 组 织 后 可 用 来 求 工 的 第 j 列 : 
Lg +1:n, jG) = AG tiin jj- Lj 1:m1:j—1»(1:j— 1). 
因此 , L(j +1:n,1: 7) 是 加 权 gaxpy 运算 . 综 上 我 们 得 到 
for 7 =1:n 
M L(0:3,1:3)w(1:3) = AQ: 5,9) REB o(1 : 3) 
fori—1l:j-1 


Mi) = v(2)/d(3) (4.1.2) 
end 
d(j) = vj) 
Lj 1:mj) = (AG +1: nj) - Lj 1:n1:5- 190 :4— )/v(3) 
end 


和 LU 分 解 类 似 , 4 可 用 因子 L, D, M 覆盖 . 如 果 采 用 列 形式 的 向 前 消去 法 来 
解 vu(1 ; 站, 则 可 得 到 以 下 算法 . l 
算法 4.1.1 (LDMT) R AcR” 存在 LU 258, 则 本 算法 计算 满足 A= 
LDM” 的 单位 下 三 角形 矩阵 LM dest AHEM D = diag(di,---,dn), A PAR 
aig PH si» 3) di(i = 3), maG « 3) HRS. 
for j—1:n 
(8 L0 :3,1:3v0:3) = 40:33) 
v(1:3) = A0 : 5,3) 
fork=1:j-1 
vk +1:j) =v(k+1:7) - v(K)A(k - 1: j,k) 
end 
{计算 M(j1:3—1) BAF AQ: 7 -1,5)} 
fori=1:j-1 
A(i, j)  v()/A( i) 


end 
{# d(j) 于 AG,3).} 
AG, j) = v3) 
{HH LG 0 1:n,3) BAF AGH 1:n,5)3 
fork=1:j-1 
A(j-1:n)- AG +1: 2,9) — v(kK)AG + 1: n, k) 
end 
AG +1:7,j) = AG +1: n j)/eG) 
end 


本 算法 的 工作 量 与 LU 分 解 相 同 , 约 为 2n2/3 个 flop. 
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可 以 证 明 , 利用 算法 4.1.1 和 3.1 节 中 的 一 般 三 角 方程 组 解法 所 得 到 的 Ac = b 
之 计算 解 人 满足 扰动 方程 组 (A+ Ejâ = b, 其 中 


IE] < nu(3LA| + SIENDI NEN) + O(u?), (4.1.3) 


L,D,M 分 别 是 L, D, M 的 计算 解 . 

如 前 一 章 考 虑 的 LU 分 解 一 样 , 除非 进行 选 主 元 处 理 , 否则 (4.1.3) 式 的 上 界 
将 没有 限制 . 因此 , 为 使 算法 4.1.1 成 为 实际 可 行 的 算法 , 应 改 为 计算 形 如 PA = 
LDM" 的 分 解 , 其 中 P 是 能 够 使 工 满足 |ij| < 1 的 置换 矩阵 . 由 于 解决 这 个 问 
题 非 常 简单 , 且 我 们 引入 LDMT 分 解 的 目的 是 为 寻求 求解 对 称 方程 组 的 特殊 方法 ， 
因此 , 我 们 将 不 追求 其 细节 . 


例 4.1.1 
10 10 20 1 0 0 10 0 0 1 1 2 
A-|230 25 40|2|2 1 0 0 5 0 0 1 0}, 
30 50 61 3 4 1 0 0 1 001 


按 算法 4.1.1 执行 完 后 , 4 被 发 盖 为 


A= 


43.2 “对称 性 和 LDLT 分 解 


如 果 A 是 对 称 的 , 则 LDMT 分 解 中 有 些 是 多 余 的 . 

定理 41.2 如果 A= LDMT AEF RAER A 的 LDMT 分 解 ， 则 
L=M. 

证 明 E MAM = MULD 对 称 且 是 下 三 角 的 , 因此 它 是 对 角 和 矩阵 . 
因为 D 是 非 奇 异 的 , 故 M-IZ 也 是 对 角 和 矩阵 . 而 M-IZ 是 单位 下 三 角形 矩阵 , 因 
此 MTL =I. D 

从 以 上 绪论 可 知 , 算法 4.1.1 WATERERS, 工作 量 可 以 减 半 . 在 第 j 2, 
由 于 M =b EHBE L 的 前 ;一 1 列 已 知 , 则 M(j,1:j 一 1) 也 为 已 知 . 回想 (4.1.2) 
中 的 第 j 步 , 向 量 v(1 :7) 是 由 DMTe; 的 前 了 个 分 量 定义 的 . 由 于 M = L, 故 

dL, 1) 
v(1:j)— | 7 
d(j — DL(j, j — 1) 
d(j) 
于 是 , 向 量 v(1 : — 1) 可 通过 对 L 的 第 j 行 做 简单 加 权 来 得 到 , 由 LA : 9,1: 3)v = 
AQ : j,j) 的 第 ;个 方程 ,有 关系 式 vl) = AG 3) -LG 1:9 - Vo: j-1), 故 有 : 
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for j=1:n 
fori=1:j-1 
v(i) = L, dli) 
end 
v(j) = AG, j) - DG, 1:5 - 1»(1:3— 0) 
a(j) = v(3) 
Lig+1:n,j) = (AG -1:m,j) - Lj -1:n,1:7 — 1»v(1:j - 1))/v(y) 
end 
重新 整理 上 面 所 述 得 下 列 算 法 . 


算法 4.1.2 (LDLT) 如果 4E Rnxn 对 称 且 存在 LU 分 解 , 则 本 算法 计算 满 
RA=LDL 的 单位 下 三 角形 矩阵 Les BHM D = diag(d,--- dn), A 的 元 
* ay WG > 3) fe dili = j) MMB. 

for j=1:n 

{计算 v0 :5)J 
fori—-1:j-1 
v(i) = A(j, i) A(ü à) 
end 
v(j) = A(,3) - AG, 1:3 - Yo. : 7 — 1) 
{eH dj) 且 计 算 L(G 十 1 :1,7).} 
AG, j) = v(i) 
AG -1:n,3) = (AG *1:n,3) - AG 1:n,1:j - Dv(1: j - )/v) 
end 
本 算法 需 m3/3 flop, 大 约 是 高 斯 消去 法 的 一 半 . 

在 下 一 节 , 我 们 证 明 , 当 4 对 称 且 正定 时 , 算法 4.1.2 不 但 能 够 顺利 执行 完 , 而 
且 十 分 稳定 . 如 果 A 对 称 但 非 正定 , 则 需要 选 主 元 , 4.4 节 给 出 了 相关 的 方法 . 

Gi) 4.1.2 


10 20 30 100 10 0 0 12 3 
A=] 20 45 80 |=; 2 1 0 0 5 0 0 14 
30 80 171 3.4 1 0 0 1 0 0 1 


按 算法 4.1.2 执行 完 后 , ARAZA 
10 20 30 
A=j} 2 5 80 
3 4 1 
习 题 
4.1.1 ”证 明 非 奇异 矩阵 4 的 LDMT 分 解 如 果 存 在 则 必 唯 一 . 
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4.1.2 ”修改 算法 4.1.1 使 其 计算 形 如 PA = LDMT 的 分 解 , 其 中 LM 均 为 单位 
下 三 角形 矩阵 . D BA, P 为 置换 矩阵 且 满足 [L| < 1. 

4.1.3 (RE n x n 的 对 称 和 矩阵 A 按 如 下 方式 存储 于 向 量 c 中 : ce = (au, a21,--- ,an1, 
022,::* ,0n2::: ;Qnn). 按 4 的 这 种 存储 结构 重 写 算 法 4.1.2, 尽 可 能 地 把 下 标 换算 移 到 内 循 
Rp. 

4.1.4 将 4 按 对 和 角 线 存储 重 写 算法 4.1.2. 参见 1.2.8 节 . 


本 节 注 释 与 参考 文献 


在 避免 外 积 修正 方面 , 算法 4.1.1 与 Crout 和 Doolittle 的 方法 是 相关 的 . 参阅 Fox (1964) 
的 第 4 章 或 Stewart (1973, 131-149). 一 个 Agol 算法 请 参阅 : 
H. J. Bowdler, R. S. Martin, G. Peters, and J. H. Wilkinson (1966), “Solution of Real and 
Complex Systems of Linear Equations,” Numer. Math. 8, 217—234. 


和 

G. E. Forsythe (1960). “Crout with Pivoting,” Comm. ACM 3, 507-508. 

W. M. McKeeman (1962). “Crout with Equilibration and Iteration,” Comm. ACM 5, 553-- 
555. 
如 同 算法 一 样 , 误差 分 析 和 扰动 理论 也 可 以 利用 结构 特性 , 见 : 

M. Arioli, J. Demmel, and I. Duff(1989). “Solving Sparse Linear Systems with Sparse Back- 
ward Error,” SIAM J. Matriz Anal. Appl. 10, 165—190. 

J. R. Bunch, J. W. Demmel, and C. F. Van Loan (1989). “The Strong Stability of Algorithms 
for Solving Symmetric Linear Systems,” SIAM J. Matriz Anal. Appl. 10, 494—499. 

A. Barrlund (1991), “Perturbation Bounds for the LDL” and LU Decompositions,” BIT 31, 
358-363. 

D. J. Higham and N. J. Higham (1992). *Backward Error and Condition of Structured 
Linear Systems,” SIAM J. Matriz Anal. Appl. 13, 162-175. 


4.2 ”正定 方程 组 


如 果 对 所 有 非 零 向 量 z < Rn 都 有 zT4z > 0, 则 称 矩 阵 A c ROX” 是 正定 的 . 
正定 方程 组 是 特殊 Ar =b 问题 中 最 重要 的 一 类 . 考虑 2 x 2 对 称 和 矩阵 的 情形 , 如 


A= Q11 012 

0291 Q22 
x = (1,07 > gT Ag = a1 > 0, 
x = (0, T > al AT = ax > 0, 


g= (1, 1)T => gT Ax = a1 + 2a12 + a22 > Q, 
g= (1, —1)T —- A»-— ail — 2812 + 322 > 0. 


是 正定 的 , 则 
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由 后 两 个 方程 推 知 jais| € (a1 + a22)/2. 由 这 些 结果 可 知 4 中 最 大 元 素 位 于 对 角 
线 上 且 为 正 . 此 结论 是 普遍 成 立 的 .一 个 对 称 正 定 矩 阵 有 一 条 “ 重 ” 对 角 线 , 尽管 
这 样 的 矩阵 不 如 对 角 占 优 和 矩阵 那样 明显 地 将 重量 集中 在 对 角 线 上 , 但 在 计算 中 同样 
可 以 省 略 掉 选 主 元 的 过 程 , 在 这 点 上 二 者 是 等 效 的 . 

我 们 首先 给 出 正定 矩阵 的 一 些 性 质 , 再 讨论 在 非 对 称 情形 时 它 对 选 主 元 的 影 
响 . 然后 集中 精力 设计 有 效 的 Cholesky 分 解 使 其 稳定 地 对 一 个 对 称 正定 矩阵 4 XE 
412 BL. 给 出 的 算法 包括 gaxpy 外 积 和 分 块 三 种 形式 . 最 后 简单 讨论 半 正 定 和 矩阵 
的 情形 . 


4.2.1 正定 性 


假设 4 cR?” 是 正定 的 . 显然 一 个 正定 矩阵 是 非 奇异 的 , 否则 可 以 找到 一 个 
非 零 向 量 m, 使 mT Am = 0. 由 二 次 型 xT 了 Az 的 非 负 性 可 推出 以 下 很 多 结论 . 

定理 4.2.1 如 是 和 Ac 限 "Xn 是 正定 的 , X CR ™* HRA k, WM B= XTAX e 
Rixe 也 是 正定 的 . 

证 明 如果 ze Rt 满足 0>zTBz= (Xz) A(Xz), WXz=0. AX Æ 
列 满 秩 的 , 故 z = 0. 口 

推论 4.2.2 wRA 是 正定 的 , 则 其 所 有 的 主子 给 阵 均 为 正定 的 . 特别 地 ,所 
有 的 对 角 元 均 大 于 零 . 

证 明 ”如果 w e Rs 是 整数 向 量 , H 1< <- <u <n, W X = hnhv) 是 
由 单位 矩阵 的 第 .…wx 列 组 成 的 秩 为 & 的 矩阵 . 由 定理 4.2.1 知 A(v, v) = XT AX 
是 正定 的 . 口 

推论 4.2.3 wRA 是 正定 的 , 则 A 的 分 解 A= LDM" 存在, ED = 
diag(di,--- , du) 的 对 角 元 均 大 于 零 ， 

证 明 ”由 推论 4.2.2 知 子 矩阵 4(1 : k,1: k) 对 于 & = 1: n 是 非 奇 异 的 , A 
此 由 定理 L1. 可 知 存在 分 解 A = LDMT. 如 果 在 定理 421 中 令 X = L7, 则 
B-DM'LT-L'AL' 是 正定 的 . 由 于 MIL 是 单位 上 三 角形 矩阵 , 所 以 
B 和 D 的 对 角 元 相同 , 故 对 角 元 必 大 于 零 . 口 

在 实际 中 , 有 几 种 典型 情况 会 产生 正定 矩阵 . 

e 二 次 型 是 由 物理 原理 保证 为 正定 的 能 量 函 数 . 

e HR A 等 于 一 个 又 积 XTX, 其 中 X 是 列 满 秩 的 (正定 性 是 由 定理 4.2.1 

FA A=I 得 出 的 ). 
© A 和 AT 均 为 对 角 占 优 的 且 每 个 aii 都 大 于 零 . 


4.2.2 ” 非 对 称 正定 方程 组 


仅仅 存在 LDMT 分 解 还 不 足以 意味 着 它 的 计算 就 是 可 取 的 , 因为 分 解 中 的 因 
子 可 能 会 有 大 的 不 能 接受 的 元 素 . 例如 , WR e > 0, 则 矩阵 
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a=] $ "|- 1 o][e o 1 m/e 
—m € -mje 1 0 e+m/e 0 1 


是 正定 的 . 但 如 果 m/e > 1, 那么 最 好 进行 选 主 元 . 

下 面 的 结果 指出 了 计算 正定 矩阵 的 LDMT 分 解 中 何 时 元 素 会 增 大 . 

定理 4.2.4 Mik ACR" 是 正定 的 , 令 T= (A4+47)/2, S = (A- AT)/2, 
do A= LDM", 则 


ZIIDIIMY Ille < (lT + IIS Sls). (4.2.1) 


WERA ”参见 Golub and Van Loan (1979). 口 

本 定理 指出 了 在 什么 情况 下 不 选 主 元 也 是 安全 的 . 假定 计算 得 的 因子 È, D, M - 
满足 

W|I Le < ell DIM Ns, (4.2.2) 


其 中 ec 是 大 小 适中 的 常数 ， 由 (4.2.1) 和 3.3 节 的 分 析 , 如 利用 这 些 因子 来 计算 
Az = b, 则 计算 解 区 满足 (A+ Eè =b, HA 


Ellp < u(3n|[ Alle + 5en?([T ja + [ST S||2)) + O(u?). (4.2.3) 


RHE [ITI < lAl, 于 是 , 只 要 
_ [ST 8|; 
Alla 


不 太 大 , 则 不 选 主 元 也 是 安全 的 . 换言之 , 与 对 称 部 分 T 的 条 件 相 比 , 非 对 称 部 分 
S 的 范 数 不 太 大 时 , 不 选 主 元 是 可 靠 的 . 有 时 在 具体 应 用 中 可 估计 0. 明显 的 例子 
是 当 A 对 称 时 , 有 0 — 0. 


4.2.3 ”对 称 正定 方程 组 


将 上 述 结果 用 于 对 称 正定 方程 组 . 我 们 知 分 解 4 = LDL 存在 并 且 其 计算 是 
稳定 的 . 但 是 , 此 时 还 有 另外 一 种 分 解 方法 . 

定理 4.2.5 (Cholesky 分 解 ) 如 果 A c R'*" 是 对 称 正定 的 , 则 存在 唯一 的 
一 个 对 角 元 全 部 大 于 零 的 下 三 角形 矩阵 G eR", 满足 A=GG". 

证 明 ”由 定理 4.1.2. 存在 单位 下 三 角形 矩阵 L ANAHE D = diag(di,… ， 
dn) 使 得 A = LDL’. 由 于 d, > 0 KFS, WHE G = Ldiag(Vdi,… , Vdn) 是 
对 角 元 大 于 零 的 实 下 三 角 矩 阵 . 它 同 时 满足 4 = GGT. 唯一 性 由 LDLT 分 解 的 唯 
一 性 可 推 得 . d 

4B 4 = GGT 被 称 为 Cholesky 2-8, G 被 称 为 Cholesky = AH. MRR 
们 计算 Cholesky 分 解 , 然后 解 三 角形 方程 组 Gy =b 和 G's = y, JU b = Gy = 
G(G' 2) = (GGT)a = Az. 


(4.2.4) 
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在 定理 4.2.5 中 , Cholesky 分 解 的 证 明 是 构造 性 的 ， 然而 , 可 以 通过 利用 方程 
A = GG" 来 得 到 计算 Cholesky 三 角 阵 的 更 有 效 的 方法 . 在 以 下 几 小 节 中 我 们 将 
说 明 有 好 几 种 方式 来 做 到 这 一 点 . 


例 4.2.1 ”矩阵 
2 -2 10l(20/|[|1 -1 
Ej EI 
V2 0 V2 -V2 
| MIN " 
是 正定 的 . 


4.2.4 基于 Gaxpy 的 Cholesky 分 解 


我 们 首先 导出 一 个 含有 大 量 gaxpy 运算 的 Cholesky 分 解 的 实现 方法 . 比较 等 
X A= GGT 的 第 j 列 可 得 
= y Gt, k)G(:, k). 
k=1 
也 就 是 说 f 
GG, İGG I) = AGI) - $ GG, K)GG, k) = v. (4.2.5) 


如 果 G 的 前 7-1 列 已 知 , 则 可 计算 出 v. 由 (4.2.5) 中 各 元 素 间 的 相等 关系 推出 
GG :n,j) = vG : n)/ V/v). 
这 是 加 权 gaxpy 运算 , 于 是 得 到 基于 gaxpy 运算 的 计算 Cholesky 分 解 的 方法 : 
for j=1:%n 
v(j : n) = AG: m i) 
fork=1:j-1 
v(j : n) = vG : n) - GG E)GG : n, E) 
end 
GG : n, j) = vj : n)/ V00) 
end 
可 以 在 计算 过 程 中 用 G 覆盖 4 的 下 三 角 部 分 . 
算法 4.2.1 (Gholesky 分 解 : 基于 gaxpy 运算 ) ”给 出 对 称 正 定 给 阵 A € 
RX" APH PAP SR BBE G eR” 满足 A= GG HHA i> 
j,GG,j) & & Ali, j). 
for j—1:n 
ifj>1 
A(j :n,j) = A(j :n,j) - AG :n,1:j — 1)A(, 1 :g—-1)T 
end 
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end 
本 算法 需 n?/3 个 flop. 
4.2.5 ”基于 外 积 的 Cholesky 分 解 


另 一 种 基于 外 积 ( 秩 为 1) BIEN Cholesky 分 解 可 通过 对 长 方形 矩阵 做 如 下 划 


分 得 到 : 


4-| 5 | 
v B 
= B 0 1 0 B wT/B 
| Jo illa "men La | (4.2.6) 


这 里 p= a, 且 因 4 是 正定 的 , 故 w > 0. m B —vv!/o Æ XT AX 的 主子 矩阵 ， 
其 中 
x=- | 1 -vT/a | 
0 Iii 
故 它 也 是 正定 的 ， 如 果 存 在 Choleky 分 解 GG? = B-vv"/a, 则 由 (4.2.6) 有 


A=GG', 其 中 
aH 
v/B Gi 


因此 可 通过 反复 利用 (4.2.6) 来 得 到 最 终 的 Cholesky 分 解 , 其 方式 和 kji 形式 的 高 
斯 消去 法 一 样 . 
算法 4.2.2 (Cholesky DR: 基于 外 积 运算 ) ”给 定 一 对 称 正定 给 阵 AC 
R 本 算法 计算 满足 A= GGT 的 下 三 角形 短 阵 GER". 对 所 有 了 > j Gaj) 
AB Alij). 
fork=1:n 
A(k, k) = J/ A(k, k) 
A(k+1:n,k) = A(k+1:n,k)/A(k, k) 
for j =k+1:n 
AG : m, j) = AG ij) — AG : nk) A E) 
end 


end 
本 算法 需 n3/3 个 flop. 注意 , 其 中 的 j 循环 计算 外 积 的 下 三 角 部 分 : 
A(k+1:n,k+1:n) =A(k+1:nkt1:n)—-A(k+1:n,k)A(k4+1:0,k)*. 
回想 在 14.8 节 中 关于 gaxpy 运算 和 外 积 运算 的 比较 , 容易 得 知 算法 4.2.1 PES 
向 量 的 次 数 要 比 算法 4.2.2 少 一 半 . 


42 正定 方程 组 127 


4.2.6 ”基于 分 块 点 积 的 Cholesky 分 解 


假定 A cR” 对 称 正 定 , 将 4 = (Ay) 和 其 Cholesky 因子 G = (Gu) 看 作 
含有 方 对 角 块 的 N x N 分 块 征 阵 . 取出 等 式 A = GGT 中 关于 第 (i,j) H (2 j) 
的 等 式 有 


定义 
j-1 
S = Ai - 3 GG, 


k=1 
则 当 ; = 了 时 , GGT = 5; 4i< j FH, GiyG$ = S. 通过 合适 的 排序 , 这 些 方程 可 
用 来 求 得 所 有 的 Gi. 
算法 4.2.3 (Cholesky 分 解 : 基于 分 块 点 积 运算 ) — 0€ — 4M MGE AERE 
AERO, 本 算法 可 求 得 一 个 正三 角 给 阵 GER” 满足 A 二 GG", A 的 下 三 角 
部 分 被 G 的 下 三 角 部 分 覆盖 ,4 被 看 做 是 含 方 对 角 块 的 N x NN PREM. 


forj—-1:N 
foric-j:N 
S = Au — Ya GG 
ifi-j 
it X Cholesky 分 解 9 = GaG], 
else 
从 GijGT, = S 解 出 Gi; 
end 
用 Gi; RB Ay 
end 
end 


整个 算法 需 3/3 个 flop, 与 前 述 其 他 形式 的 Cholesky 算法 相同 . 假定 4 被 适当 
分 块 , 则 本 算法 中 含有 大 量 的 矩阵 乘法 运算 . 例如 , 如 果 n = rN, HS Ag 都 是 
rxr Ij, 则 3 级 比例 约 为 1— (1/N?). 

由 于 没有 给 出 积 Ga Gy 是 如 何 形成 的 以 及 7 x r Cholesky 分 解 5 = GG} 
是 如 何 计算 的 , 因此 算法 4.2.3 是 不 完整 的 . 为 获得 算法 的 高 性 能 , 这 些 重要 细节 必 
须 认真 设计 . 

另 一 个 分 块 算法 可 由 基于 gaxpy 运算 的 Cholesky 算法 得 出 , 将 算法 4.2.1 执 
fT r 步 后 , 我 们 已 知 


ps fe | =| 2 0 ls ie 0 | 

An Az | | Gn In-r | 0 A Gor In- 

HERE Gu eR 和 Ga e ROO". 再 接 下 来 我 们 不 对 A, 则 是 对 已 显 式 形 
成 具有 可 利用 的 对 称 结构 的 约 化 后 的 矩阵 4 = A22 - Ga1G3, 进行 另外 的 r 步 基 
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于 gaxpy 的 Cholesky 计算 . 按 此 方法 进行 下 去 , 我 们 得 到 基于 分 块 的 Cholesky 分 
解 算法 , 其 第 上 步 是 对 n- (k — 1)r 阶 的 矩阵 进行 r 次 基于 gaxpy 的 Cholesky 分 
解 , 接着 是 阶 为 n 一 kr 的 3 级 计算 . 如 果 nw rN, 则 3 级 比例 约 为 1 -3/(2N). 


4.2.7 Cholesky 分 解 的 稳定 性 


在 精确 运算 下 , 我们 知 对 称 正定 矩阵 存在 Cholesky 分 解 。 反之 , 如 果 一 个 
Cholesky 分 解 过 程 能 够 顺利 进行 完 且 得 到 严格 大 于 零 的 平方 根 , 那么 A 是 正定 
的 . 因此 , 判断 4 是 否 正定 , 我 们 只 需 用 上 述 的 任 一 方法 来 试 着 计算 其 Cholesky 
分 解 . 

有 全 入 误差 情形 是 更 为 有 意思 的 .Cholesky 算法 的 数值 稳定 性 大 致 可 从 不 
等 式 ; 


i 
2 2 
gij S > Jik = Vii 


k=1 
导出 . 该 不 等 式 说 明 Cholesky 三 角形 矩阵 因子 有 很 好 的 界 . 由 IGI = [Alla 也 可 
推出 相同 的 结论 . 

Wilkinson (1968) 在 经 典 论文 中 对 Cholesky 分 解 的 舍 入 误差 作 了 深入 研究 . A 
用 该 论文 之 结果 可 证 明 , 如 果 是 通过 上 述 任 一 Cholesky 分 解 求 得 的 As = b 的 
计算 解 , 则 e 满足 扰动 方程 组 (A+ E)à = b, 其 中 || Ello = cnul All c» EH n R 
定 的 小 常数 . Wilkinson 进一步 指出 , 如 果 quA) < 1, 其 中 om 是 另 一 个 小 常数 ， 
则 Cholesky 分 解 能 够 执行 到 底 , 而 不 会 出 现 对 负数 开平 方 根 . 

例 4.2.2 如果 用 算法 4.2.2 来 处 理 下 述 正定 矩阵 : 
100 15 0.01 
15 2.3 0.01 
0.01 0.01 1.00 


且 用 8 = 10,t=2 的 有 限 位 计算 , 则 G11 =10, Gor = 1.5, 981 = 0.001, 922 = 0.00. 本 
算法 在 求解 g32 时 失败 . 
4.2.8 PEER 

如 果 对 所 有 的 向 量 z 都 有 zT4z > 0, 则 称 矩阵 4 是 半 正 定 的 . 对 称 半 正 定 
(sps) 矩阵 也 是 一 类 非常 重要 的 矩阵 ， 我 们 仅 简单 地 讨论 一 些 可 用 来 求解 sps 问题 
的 Cholesky 型 方法 . 首先 需要 关于 sps 矩阵 对 角 元 的 一 些 结论 . 

定理 4.2.0 ”如果 Ac R?*? 是 对 称 半 正定 的 , 则 


A= 


, 


lai] € (aes + 23)/2, (4.2.7) 
lai 和 y/aua3; GAD), (4.2.8) 


max laij| = MAX Gis, (4.2.9) 
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au =0 > A(i,:)=0, AC: i) =0. (4.2.10) 


证 明 WẸ z = e 十 ej, Jj 0 < zT Az = ai + ajj + 2045, 而 如 果 x =e; 一 ej 
则 0 < zT Az = an +0,; 224. 不 等 式 (42.7) 可 由 此 二 式 推 出 . 等 式 (4.2.9) 是 . 
(4.2.7) 的 直接 推论 . 

为 证 (4.2.8), 不 失 一 般 性 , 令 i = 1,5 = 2, 考察 不 等 式 


T 
z ài a z 
0x no = 21127 + 20127 + a22. 
1 à231 022 1 


由 于 4(1 : 2,1 :2) 也 是 半 正 定 的 , 因此 上 式 成 立 . 这 是 一 个 关于 z 的 二 次 方程 , A 
使 不 等 号 成 立 , 需 判 别 式 4a2, — 4a11a25 小 于 零 . 由 (4.2.8) 可 推出 (4.2.10). 口 
考察 基于 外 积 的 Cholesky 分 解 应 用 于 sps 矩阵 时 将 会 出 现 什么 结果 . 如 果 元 
3€ A(k, k) WE, 则 由 (4.2.10) 知 Alk : n,k) 为 零 , 故 不 进行 任何 操作 , 这 样 有 
fork —1:n 
if A(k, k) > 0 
Alk, k) = A A(k, k) 
A(k 4-1: n,k) = A(k +1 : n, k)/A(k, k) 
forj=k+i:n 
A(j :n,j) = AG : n, j} - AG: n, k) A(G, k) (4.2.11) 
end 
end 
end 
于 是 , 对 算法 4.2.2 作 简单 修改 就 可 以 适用 于 半 正 定 矩 阵 . 然而 , 实际 计算 中 由 于 合 
入 而 产生 误差 , 可 能 导致 结果 不 会 恰好 为 零 , 所 以 最 好 是 进行 选 主 元 . 


4.2.9 ”对 称 的 选 主 元 


为 保持 对 称 和 矩阵 4 的 对 称 性 , 我 们 仅 考虑 形 如 PAP” 的 数据 重 排列 , 其 中 P 
是 置换 矩阵 . 仅 做 行 置换 (A PA) 或 列 置换 (A 一 AP) 都 会 破坏 对 称 性 . 形 如 


A — PAPT 


的 修正 称 为 4 的 对 称 置换 . 这 种 操作 不 会 将 非 对 角 元 移 到 对 角 位 置 上 . PAPT 的 
对 角 元 素 是 A 的 对 角 元 的 一 个 重新 排序 . 

假定 在 (4.2.11) 的 第 步 的 开始 我 们 将 Alk: n,k: n) 中 最 大 的 对 角 元 对 称 置 
换 到 主 位 置 上 . 如 果 此 最 大 对 角 元 为 零 , 则 由 4.2.10 知 A(k : n, k : n) = 0. 这 样 我 
们 可 以 计算 分 解 PAPT = GG", 其 中 Ge RG) 是 下 三 角形 矩阵 . 

算法 4.2.4 ”假定 A € R^*7 CHEESE, 且 秩 为 ,本 算法 求 得 满足 
PAPT = GG? 4 nx r FZR BEM G, 其 中 P REREH, r 是 下 标 . A(:,1 :7) 
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的 下 三 角 部 分 被 G 的 下 三 角 部 分 所 发 盖 , P= P, Pi, 其 中 Ph 是 将 单位 矩阵 
的 第 开行 与 第 piv(k) 行 互 换 . 
r=0 
for k=1l:n 
找 q(k <q < n) 使 得 Alq, q) = max{A(k,k),--- ,A(n,n)} 
if A(g,q) >0 
r=r+l 
piv(k) =q 
Atk, :) = A(q,:) 
A(:, k) = A(:, q) 
Alk, k) = Alk, k) 
Afk + 1:n, k)= A(kK+1:n,k)/A(k, k) 
for j=k+i:n 
A(j :n,j) = AG : n, j) - AG 0, K) AG, k) 
end 
end 
end 
在 实际 计算 中 , 使 用 了 容 差 来 检测 小 的 AQ, k) 值 . 但 这 种 处 理 需要 很 高 的 技巧 性 ， 
读者 可 参考 Higham (1989). 此 外 , 5.5 节 中 对 秩 检测 问题 的 容 差 作 了 讨论 . 最 后 我 
们 指出 算法 4.2.4 的 真正 高 效 实现 将 仅 需 要 A 的 下 三 角 部 分 . 
4.2.10” 极 分 解 与 平方 根 
B A-U SVT 是 A cR” WH SVD 分 解 , 其 中 m > n. 注意 到 
A= (UVV E, VT)  ZP, (4.2.12) 


其 中 Z-U,V',P=VS,\V'. 由 


zg’ Pa = (VIe) Xi(V'z) -Yoni 2 0, 


其 中 y = VIr, Al Z 的 列 正 交 , P 是 对 称 半 正定 的 .(4.2.12) 称 为 极 分 解 , 因为 它 
与 复数 分 解 z = cb 8 |z| 类 似 . 更 详细 的 内 容 参 见 12.4.1 W. 

另 一 类 重要 的 分 解 是 矩阵 平方 根 . 假定 A c RU 是 对 称 半 正定 的 且 A = 
GGT 是 其 Cholesky 分 解 . WE G=USV™ 是 G 的 SVD 分 解 , X -U EU, W 
X 是 对 称 半 正定 的 , HA 

A = GGT = (UEV")\(UBV")? = UX?U? = (ZEUT)(CEUT) = X’. 
因此 X Æ A 的 平方 根 , 可 以 证 明 (用 特征 值 理论 很 容易 ), 对 称 半 正定 矩阵 有 一 个 
唯一 的 对 称 半 正定 的 平方 根 . 
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3 — B 


4.2.1 BÆ H — A iB & Hermit 矩阵 且 正 定 , Ht A, B €R”, RERE 2 £0 
B a Hz > 0 
A 


、 -B 
(a) 证 明 : C = | B A | 是 对 称 正 定 的 . 


(b) 设计 一 算法 求解 (A ++iB)(z +iy) = (b+ic), 其 中 b,c,z Aly R^ 上 的 , 该 算法 
应 在 8n°/3 个 op 内 完成 , 并 指出 所 需 的 内 存 空间 . 

4.2.2 ”假定 A cR” BRIE, 给 出 一 个 算法 来 求解 满足 A= RR 的 上 三 
角形 矩阵 Re R"*". 

4.2.3 ”假定 ACR” 是 对 称 正定 矩阵 , 4 T= (A+ AT)/2, S =(A— AT)/2. 

(a) 证 明 LA^! lla < ||! lla 和 对 于 所 有 x ER” 有 27A7 xz T xm. 

(b) 证 明 如 果 A= LDMT, Wt k=1:n A de > VT! llo. 

4.2.4 ”寻找 一 个 2x 2 的 实 矩 阵 A, 使 其 所 有 的 实 非 零 2 维 向 量 都 具有 性 质 z74z > 0, 
但 在 C?*? 范围 内 它 却 不 是 正定 的 ， 

4.2.5 ”假定 A cR” 有 正 对 角 元 , 证 明 如 果 A 和 AT 都 是 严格 对 角 占 优 的 , 则 A 是 
正定 的 . 

4.2.6 ”证 明 函 数 f(x) = (zT4z)/2 是 RR* 上 的 向 量 范 数 , SANS A 是 正定 的 . 

4.2.7 ”修改 算法 4.2.1 使 得 如 果 出 现 负数 的 平方 根 的 情形 , 算法 找到 一 个 单位 向 量 z, 使 
满足 al Aw < 0 后 算法 终止 . 

4.2.8 BER A 的 数值 域 WA) 定义 为 : W(A) = (x Aa : ote = 1), 证 明 如 果 
0¢ W(A), N AA LU 分 解 . 

4.2.9 给 出 AER™*"(m < n) 的 一 个 极 分 解 . 

4.2.10 ”假定 4 二 工 TuaT, 其 中 Ae R^*7 E lull = 1, 给 出 A 的 Cholesky 因子 
的 对 角 元 和 次 对 角 元 的 显 式 表达 式 ， 

42.41 ”假定 A c R^*^ 是 对 称 正 定 矩阵 且 其 Cholesky 因子 存在 , > er = L.C, k), 对 
Fic<i<j<n, 4 o; 是 使 得 4 +a(eiey +ejez) 奇异 的 最 小 实数 . 同样 , > ay 是 使 得 
(A +aeiez) 奇异 的 最 小 实数 . 给 出 应 用 Sherman-Morrison-Woodbury 公式 求解 这 些 量 的 方 
法 , 并 指出 求解 全 部 ay 的 flop 数 . 
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4.3 ” 带 状 方程 组 


在 涉及 线性 方程 组 的 许多 应 用 中 , 系数 矩阵 是 带 状 的 , 只 要 方程 排序 能 使 得 每 
个 未 知 数 x; 只 出 现在 与 第 i 个 方程 相 邻 的 几 个 方程 中 就 会 出 现 这 种 情况 . 严格 地 
说 , 如 果 对 j > i+q 有 aij = 0, Wa A = (aij) 具有 上 带宽 g; WR i>jt+p 
有 ay = 0, WH A = (a4) 具有 下 带宽 p， 当 求解 带 状 方程 组 时 , 由 于 LU, GGT, 
LDMT 等 中 的 三 角 因子 也 是 带 状 的 , 因此 可 节省 很 多 . 

开始 本 节 前 , 建议 读者 复习 一 下 1.2 节 中 关于 带 状 矩阵 乘法 的 内 容 . 


4.3.1 “ 带 状 矩阵 的 LU 分 解 


首先 要 给 出 的 结论 是 , 如 A 是 带 状 矩阵 旦 有 LU 分 解 4 = LU, 则 L(U) 具有 
与 4 相同 的 下 (上 ) 带宽 . 

定理 4.3.1 ”假定 4ERnxn FLU 分 解 A — LU, 如果 和 的 上 带宽 为 q, 下 
带宽 为 p, WU 的 上 带宽 为 g, 工 的 下 带宽 为 p. 

证 阴 ”证 明 过 程 是 对 ”做 归纳 法 . 由 (3.2.6) 有 如 下 分 解 : 


A-|? wr | 1 0 1 0 a wt 
le BI vja In- 0 B-vwl/a 0 Inal 
很 显然 只 有 w 的 前 g 个 分 量 和 v 的 前 p 个 分 量 是 非 零 的 , 故 B - wwT/a 的 上 带 
WOW qg, 下 带宽 为 g. 设 LU. 是 此 矩阵 的 LU 分 解 , 应 用 归纳 假设 和 w, o KRD 


性 得 
ilb a F | 
via Li 0 U, 
AA EA GS HAE 4 = LU. 口 
针对 带 状 矩阵 的 专用 高 斯 消去 法 存在 LU 分 解 也 是 一 目 了 然 的 . 
算法 4.3.1 ( 带 状 高 斯 消去 法 : 基于 外 积 的 形式 ) ”给 定 A cR" 的 上 带宽 
Aq, TA EX p, SRA LU PRB, 本 算法 计算 此 分 解 . 当 > j 时, Ali j) 被 
Lli j) RA, SMR Uli j) & &. 
fork —1:n-—1 
for i=k+1:min(k+p,n) 
A(i, k) = A(i, k)/A(k, k) 
end 
for j=k+1:min(k+q,n) 
for i =k+1:min(k+p,n) 
A(i, j) = A(i, j) - AG k) AG, j) 
end 
end 
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end 
WR n> p Hn >q, 则 本 算法 需要 2npg 个 op. 算法 4.1.1 (LDMT) 及 所 有 的 
Cholesky 分 解 算法 都 同样 有 带 状 的 形式 , 留 给 读者 练习 . 


4.3.2 ” 带 状 三 角 方程 组 的 求解 


求解 带 状 三 角 方 程 组 时 也 可 类 似 地 节约 很 多 工作 量 . 
算法 4.3.2 ( 带 状 向 前 消去 法 : IWER) S LER" 是 下 带宽 为 p 的 单位 
TEÉAGXIBM 给 定 bE R", 本 算法 以 Lz =b HARE b. 
forj—il:n 
for i = j +1: min(j +p,n) 
(i) = bfi) — LG, JJB) 
end 
end 
如 果 n2 p, 该 算法 需要 2np 个 flop. 
算法 4.3.3 ( 带 状 向 后 消去 法 : 行 形式 )” 令 UEeR"x" 是 上 带宽 为 gq 的 非 奇 
异 上 三 角形 适 阵 . BEER, 本 算法 以 Uz = AAE b. 
for j=n:-1:1 
bj) = 6(7)/UG, 3) 
for i= max(1,j—q):j—-1 
b(i) = b(i) — Ù (i, 3)bG) 
end 
end 
如 果 n o» q, 该 算法 需要 2nq 个 flop. 
43.3 选 主 元 的 带 状 高 斯 消去 法 
列 选 主 元 的 高 斯 消去 法 也 可 利用 A 的 带 状 结构 进行 特殊 修改 . 然而 ， 如 果 
PA = LU, A LA U 的 带 状 性 质 却 不 那么 简单 ， 例 如 , WR A B= 
p, 在 算法 执行 的 第 一 步 将 前 两 行 互 换 后 , wis 就 非 零 了 . 结果 , 行 的 互 换 将 带宽 扩 
KT. 精确 地 知道 带宽 如 何 扩大 是 下 面 定理 的 主题 . 
定理 43.2 db ACR ™” AH, 其 上 、 下 带宽 分 别 为 9 和 p. 如 果 用 列 选 
主 元 的 高 斯 消去 法 来 计算 高 斯 变换 
Mj;-I-oef, j=1:n-1 


fo X MEME Pi,… , Pn_1 使 得 MiP MIPIA=U 是 上 三 角形 矩阵 , 则 
U 的 上 带宽 为 p 二 dg 而 且 当 is<7 或 1i> 了 上 +D 时 , oO = 0. 

EAB 设 PA = LU 是 列 选 主 元 高 斯 消去 法 所 计算 的 分 解 ， 由 前 知 P = 
Pai: Pi. 将 PT SEPT = [es,,… ,es,l, 其 中 {s1,… ,sn} 是 {1,2,…,n} 的 
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一 个 置换 . 如 果 s; >it+p, 则 PA 的 à 阶 顺序 主 子 矩 阵 是 奇异 的 , 这 是 因为 对 于 
j=l1l:s,-p—-14 (PA); = as; =0 而且 s;-p-1>i. 于 是 可 推出 上 和 A 
是 奇异 的 , 这 是 一 个 矛盾 . 因此 对 于 1 = 1:n, si <i+tp 因此 PA 的 上 带宽 为 
ptq. 由 定理 4.3.1 FU 的 上 带宽 为 p+ q. 

可 通过 观察 M; 来 证 实 oC 的 性 质 , AM; 的 形成 只 需要 将 已 部 分 约 化 的 矩 
E P;M;1Pj1---PiA 中 的 GLi ,(j 十 p, 站 元 素 化 为 零 . 口 

因此 就 U 变 得 比 A 的 上 三 角形 矩阵 “更 宽 ” 这 一 点 来 说 , 选 主 元 会 破坏 带 状 
结构 , 然而 关于 工 的 带宽 没有 任何 结果 . 但 由 于 工 的 第 j 列 是 高 斯 向 量 oj 的 一 个 
置换 , 因此 工 的 每 一 列 至 多 只 有 p 十 1 个 非 零 元 . 
4.3.4 Hessenberg LU 分 解 

做 为 非 对 称 带 状 和 矩阵 计算 的 一 个 例子 , 我 们 看 看 列 选 主 元 的 高 斯 消去 法 是 如 何 
分 解 一 个 上 Hessenberg 和 矩阵 H 的 (回忆 一 下 , WR H 是 上 Hessenberg FER, 则 
H i> j++1 时 hj = 0). 经 过 上 一 1 步 的 列 选 主 元 的 高 斯 消去 法 , 得 到 如 下 形式 的 
一 个 上 Hessenberg 42: 


X x X x X 
0 x x x x 

0 0 x x x k=3, n=5 
0 0 x x x 

0 0 0 x 


由 这 个 矩阵 的 特殊 结构 可 知 下 一 个 置换 矩阵 P. 是 单位 矩阵 或 者 是 交换 第 3 行 和 
第 4 行 的 单位 和 矩阵. 而且 下 一 步 的 高 斯 变换 Mi 在 位 置 (k + 1, k) 有 一 个 非 零 乘 
T. 这 刻画 了 下 面 算法 的 第 kW. 
算法 4.3.4 (Hessenberg LU) ”给 出 一 个 Hessenberg Æ H < R”, 本 
算法 计算 出 上 三 角形 矩阵 MnPn-1 MiP H =U, KPH Pu AER 
阵 , 每 个 Mk 是 元 素 以 1 ARO RMER Ak) Rick Hw Ulik) A E, E 
i=k+1 时 由 (MP)ptHik RA. 用 整数 向 量 piv(1: n— 1) 来 记录 置换 . 如 果 Pk =I, 
Jt] piv(k) = 0. 如 果 Pr 是 将 第 上 行 和 第 上 十 1 FAR, 则 piv(k) = 1. 
fork =1:n-1 
if |H (k, K)] < JH (6 +1,8)| 
piv(k) 2 1; H(k, k : n) o H(k-- 1, k:m) 
else 
piv(k) =0 
end 
if H(k, k) #0 
t = —H(k-F 1, k)/ H(k, k) 
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for j=k+1:n 
H(k--1,j) = H(k-- 1,3) - tH(k, j) 
end 
H(k+1,k)=t 
end 


end 
该 算法 需要 n? 个 flop. 
4.3.5 4% Cholesky 分 解 


本 节 的 剩 下 部 分 考虑 当 A 是 对 称 正 定 的 带 状 矩 阵 时 ， 如 何 求解 hz = b. 由 
于 这 种 情形 不 需要 进行 选 主 元 , 因此 可 写 出 许多 紧凑 优美 的 算法 . 特别 是 , 由 定理 
4.3.1, 如 果 A= GGT 是 A 的 Cholesky 分 解 , W G 的 下 宽带 与 A 相同 . 这 导致 如 
下 算法 , 它 是 算法 42.1 (基于 gaxpy 的 Cholesky 分 解 ) 的 带 状 形式 . 
算法 4.3.5 ( 带 状 Cholesky 分 解 : gaxpy 形式 ) ”给 定 一 个 带宽 为 p 的 对 称 正 
ZEY ACR”, 本 算法 计算 一 个 下 带宽 为 的 下 三 角形 矩阵 G, 使 得 A = GGT. 
对 所 有 的 i 之 j,A(i,j) 被 Gj) RH. 
for j—1:n 
for k = max(1,j - p):j—-1 
A = min(k + p,n) 
A(j :,3) = AG : 3) - AG, E)AG : A, k) 
end ` 
À = min(j + p,n) 
AQ 2,5) = AG: X/V/AG.3) 
end 
如 果 n> p, 则 此 算法 需 n(p? + 3p) 个 flop 和 n 次 平方 根 运算 . 当然 , 在 真正 实现 
时 应 为 A 设计 恰当 的 数据 结构 . 例如 , 如 果 仅 存储 A 的 非 零下 三 角 部 分 , 则 一 个 
(p--1)x n 的 数组 就 足够 了 ( 见 1.2.6 Ù). 
如 果 将 带 状 Cholesky 分 解 与 适当 的 带 状 三 角 方程 组 求解 算法 结合 , 则 解 整 个 
Az = b 问题 大 约 需 np? -Tnp4-2n 个 fop 和 mn 次 平方 根 运 算 . 25 p 值 不 大 时 , 求 根 运 
算 在 整个 计算 中 占 很 大 比例 . 故 最 好 是 用 LDLT 分 解 . 实际 上 , 仔细 的 计数 可 发 现 ， 
利用 A = LDI", Ly = b, Dz = y Ñ Lx 二 z 来 解决 问题 只 需要 np +8nptn 
个 flop 而 且 不 必 进 行 平方 根 运 算 ， 


4.3.6 ”三 对 角 方程 组 的 求解 


He RAS AY APR LDLT 问题 的 例子 , 我 们 来 考察 对 称 正定 三 对 角 方程 
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1 0 
€1 1 : 
L- 
0 …: €n-1 1 
M D = diag(di,… ,dn), 则 由 等 式 A = LDL" 得 出 
ay — di 
Qk,k—1 = €k- 10-1 k —2:n 


akk = dy + ez. ,dk-i = dk + ek-10kk-i k=2:n 
于 是 di 和 €i 可 这 样 求 出 : 
dj = 011 
for k=2:n 
ep-1 = Gk,k-1/ dk 1; dk = Qkk — Ek—1Qk,k—1 
end 
可 通过 解 Ly = b, Dz = y L's = z 来 得 到 Ax = b 的 解 . AB, 我 们 可 
得 到 下 列 算法 . 
算法 4.3.6 (对 称 三 对 角 正 定 方程 组 的 解法 ) ”给 定 一 个 nxn 三 对 角 对 称 正 
ZEE A fo DER”, 本 算法 以 Ac 一 证 的 解 来 覆盖 .我们 假定 A 的 对 角 线 元 素 
存储 在 d(1 :n) 中 , 次 对 角 线 元 素 存储 在 e(1:n —1) v. 
fork —2:n 
t= e(k —1);e(k — 1) = t/d(k — 1); d(k) = d(k) — te(k — 1) 
end 
fork —2:n 
b(k) = b(k) — e(k — 1)b(k — 1) 
end 
b(n) — b(n)/d(n) 
fork —-n-—1:-—1:1 
b(k) = b(k)/d(k) — e(k)b(k + 1) 
end 
该 算法 需要 8n + flop. 
4.3.7 向 量化 问题 


三 对 角 的 例子 引发 出 一 个 难题 : 即 求解 罕 的 带 状 问题 与 处 理 机 的 向 基 / 流 水 线 
结构 不 相 适 . 罕 的 带 状 意味 着 短 向 量 . 然而 有 时 候 却 需要 同时 解决 大 量 的 且 相 互 独 
立 的 这 类 问题 . 让 我 们 以 1.4 节 中 提出 的 观点 来 看 应 如 何 安排 计算 . 

为 清晰 起 见 , 假设 我 们 求解 nxn 单位 下 双 对 角 方程 组 
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A 2) =, k=1:m 
Hm» n. 假定 有 数组 E(1:n—1,1:m) 和 B(1:5,1:m), H E(1:n—1, k) 来 存 
储 AC) 的 次 对 角 线 , B(1 : n,k) 来 存储 右 端 向 量 DO 的 第 k 个 分 量 . 我 们 按 下 述 
方式 来 用 解 z(* 覆盖 a 
fork=1:m 
fori =2:n 
Bii,k) = B(i,k)— E(i —1l,k)B(i — 1,k) 
end 
end 
本 算法 是 按 顺序 求解 每 个 双 对 角 方 程 组 的 , 引起 的 问题 是 内 层 循 环 没有 向 量 
化 . 这 是 由 于 Bli, k) 对 B(i — 1, k) 的 依赖 造成 的 . 将 关于 有 和 i 的 循环 互 换 就 得 
到 : 
fori=2:n 
for k =1:m 
B(i,k) = B(i,k) - E(i - 14,k)B(i — 1, k) (4.3.1) 
end 
end 
这 样 内 层 循 环 已 经 很 好 地 向 量化 , 因为 它 由 一 次 向 量 乘法 和 一 次 向 量 加 法 组 成 . 不 
幸 的 是 , (4.3.1) 不 是 整体 流 运算 . 但 是 , RA TRE RECHT ELITA E RA fR CAA Pri 
向 量 来 解决 . 即 采用 数组 E(1:m,1:n—1) RH B(1:m,1:n—- 1), Fl E(k,1:n— 1) 
来 存储 A 的 次 对 角 元 , 用 B(k, 1 :n) 来 存储 OT. (4.3.1) 的 计算 过 程 则 变 为 
fori—2:n 
fork —1:m 
B(k,i) = B(k,i) — E(k,i — 1)B(k,i — 1) 
end 


end 


这 再 次 说 明 数据 结构 对 计算 的 影响 . 
4.3.8 ” 带 状 矩 阵 的 数据 结构 


上 面 算法 的 写法 基于 A 按 常规 方式 储存 于 n x n 数组 中 . 在 实际 应 用 中 , 可 
针对 带 状 线性 方程 组 的 求解 有 效 地 设计 特殊 的 数据 结构 , 以 充分 利用 秆 阵 中 许多 元 
素 为 零 的 特点 . 回想 1.2.6 节 的 内 容 即 知 , 如 果 4 的 下 带宽 为 p, 上 带宽 为 q, WE 
阵 可 以 用 一 个 (ptq+1) x n 数组 A.band 来 存储 , 其 中 位 于 带 上 的 元 素 a, TET 
A.band(i — j 4- q-- 1, j) 中 . 按 这 种 方式 , A.band 的 第 j 列 存储 4 的 第 了 列 的 非 零 
部 分 . 1.2.8 节 中 讨论 的 另 一 种 矩阵 数据 结构 是 用 一 个 一 维 数组 A.diag 将 A 按 对 
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角 线 存储 . 不 管 采用 哪 种 数据 结构 , 涉及 带 状 阵 存 储 的 矩阵 运算 都 要 尽量 减少 下 标 
换算 的 开销 . 


3 是 


4.3.1 ”导出 一 个 类 似 于 算法 4.3.1 的 带 状 LDMT 分 解 算法 . 

4.3.2 ”说 明 如 何 将 算法 4.3.4 产生 的 结果 应 用 于 解 上 Hessenberg 方程 组 He = b. 

4.3.3 ”给 出 一 个 用 列 选 主 元 的 高 斯 消去 法 来 求解 非 对 称 三 对 角 方 程 组 As = b 的 算法 ， 
要 求 只 使 用 4 个 n 阶 浮 点 数 向 量 的 存储 空间 . 

4.3.4 ”对 于 Ce RR"x" 定义 形状 指标 m(C,i) = min(j : cij 40}, 其 中 i=1:n, 证 明 
WR A=GGT 是 A 的 Cholesky 分 解 , 则 对 于 i 二 1:n A m(A,i) 2 m(G,i). (我 们 称 G 
和 A 有 相同 的 形状 .) 

4.3.5 ”假定 A E R"*" 是 对 称 正 定 矩 阵 且 有 m; = m(A, i), 其 中 i 一 1:n. BE A 
储 于 一 维 数 组 oy 中 ; v = (an, 02,m2; i022; aaimsg ;Gnmn s Ann) 编写 一 个 算法 , 用 
Cholesky 因子 G 中 对 应 的 元 素 去 覆盖 v, 用 这 个 分 解 结果 解 4z = b, 问 需 多 少 个 flop? 

4.3.6 XP TP Ce Rn"xn X p(C,i) = max(j : a; 40}, RR A A LU 分解 A= LU 
AA 

m(A,1) € m(A,2) S- < m(A,m), 
p(A,1) < p(A,2) <- < p( Aum). 
EHN is 1:n A m(A,i)=m(L,i) A p(A, i) = p(U, i). mA i) 的 定义 见习 题 4.3.4. 

4.3.7 ”将 算法 4.3.1 改 成 基于 gaxpy 运算 的 形式 . 

4.3.8 ”设计 一 个 整体 流 , 可 向 量化 的 算法 来 求解 对 称 正定 三 对 角 方程 组 AV = pU. 
假设 对 角 线 元 、 次 对 角 线 元 和 右 端 向 量 按 行 存储 于 数组 D, E M B 中 , b™ 被 oU 覆盖 . 

4.3.9 ”将 A 按 对 角 线 存储 重新 设计 算法 43.1. 

4.3.10 ”给 出 一 个 3 x 3 对 称 正定 矩阵 的 三 对 角 部 分 不 是 对 称 正定 的 例子 . 

4.3.11 B Az = b 问题 , 其 中 


2 —1 0 0 —1 

-1 2 -1 0 

A= 0 -1 2 : 
0 

0 o e n 2 —1 

-1 0... 0 -1 2 


这 类 算 阵 在 具有 周期 性 边界 条 件 的 边 值 问题 中 出 现 ，(a) 证 明 A 是 奇异 的 ，(b) 给 出 5 必 
须 满足 的 使 得 该 方程 组 存在 解 的 条 件 ， 并 设计 一 个 算法 求解 ，(c) 假设 n 为 偶数 ,考虑 置换 
SERE P = [es en eo en- 6s] 其 中 ex 是 I 的 第 k 列 ， 试 描述 变换 了 的 方程 组 
PTAP(PTz) = Pb, 并 给 出 解法 (假定 解 存在 并 忽略 选 主 元 ). 
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George and Lin (1981) 的 第 4 章 有 一 个 关于 正定 矩阵 的 带 状 方法 的 很 好 的 综述 . 


4.4 “对 称 不 定 方程 组 


一 个 对 称 矩 阵 ， 如果 其 二 次 型 zT74z 既 可 取 正 值 又 可 为 负 值 ， 则 被 称 为 不 定 
的 . 尽管 不 定 和 矩阵 也 存在 LDLT 分 解 , 但 其 抢 阵 因子 的 元 素 可 能 任意 大 : 


ei] [1 ol]le o 1:0] 
f JE I ll | l 
当然 , 3.4 节 中 的 选 主 元 法 都 可 被 用 来 解决 此 问题 . 但 这 会 破坏 对 称 性 同时 也 会 破 
坏 掉 寻找 “Cholesky 速度 ”的 不 定 方程 组 解 的 机 会 . 对 称 选 主 元 方法 , 即将 数据 以 
A — PAP" 形式 重新 组 织 , 必须 如 4.2.9 节 讨 论 的 那样 来 使 用 . 不 幸 的 是 , 对 称 选 
主 元 法 并 不 总 是 能 保证 LDL 计算 的 稳定 性 . WR e 和 es 值 很 小 , 则 无 论 什么 
P, 矩阵 


PT 
1 E2 


的 对 角 元 素 依然 非常 小 , 分 解 总 会 出 现 大 的 数 . 对 称 选 主 元 过 程 中 , 主 元 总 是 从 对 
角 线 上 选取 的 , 如 这 些 数 比 需要 消 截 的 非 对 角 元 小 得 多 , 就 会 引起 麻烦 . 因此 对 称 
选 主 元 的 LDLT 分 解 不 能 作为 求解 对 称 不 定 方程 组 的 可 靠 方法 . 看 来 , 选 主 元 时 要 
考虑 非 对 角 元 同时 又 要 保持 对 称 性 是 一 个 挑战 . 

本 节 我 们 讨论 两 种 面临 这 一 挑战 的 方法 . 第 一 种 由 Aasen (1971) 提出 , 它 进行 
如 下 分 解 : 

PAP" = LTL", (4.4.1) 
其 中 工 = (ly) 是 单位 下 三 角形 矩阵 , TRS. P 是 能 使 y< 1 的 置换 
和 矩阵. 与 此 相对 应 , Bunch and Parlett (1971) 提出 的 对 角 选 主 元 法 计算 置换 矩阵 P 
使 得 
PAP! = LDL’, (4.4.2) 
其 中 万 是 由 1x1 和 2x2 的 块 构成 的 块 对 角 和 矩阵 . 同样 , 已 的 选取 使 得 下 三 角形 
矩阵 L 的 元 素 满足 y| < 1. 两 种 分 解 方法 都 需要 3/3 个 flop. 一 旦 完成 分 解 则 
可 在 O(n?) 的 工作 量 内 解 出 Ax = b: 
PAPT = LTL”, Lz = Pb,Tw=z,L'iy=w,r= Py > Ac =b, 
PAPT = LDL”, Lz = Pb, Dw =2z,L"y=w,2 = Py > Ax =b. 

在 这 些 求解 过 程 中 需要 讨论 的 “新 ”东西 是 方程 组 Tw =z 和 Dw = z. 

在 Aasen 方法 中 , 对 称 的 不 定 三 对 角 方 程 组 Tw = z 可 应 用 选 主 元 的 带 状 高 
斯 消去 法 在 O(n) 时 间 内 解 出 . 请 注意 , 在 此 层次 上 忽略 对 称 性 不 需 付出 很 大 代价 ， 
因为 整个 开销 为 Oln’). 
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在 对 角 选 主 元 法 中 , 方程 组 Dw = z 相当 于 一 组 1 x 1 和 2 x 2 对 称 不 定 方程 
ZH. 2 x 2 的 问题 可 由 选 主 元 的 高 斯 消去 法 解决 . 再 次 说 明 的 是 , 在 这 O(n) 次 计算 
中 抛弃 对 称 性 并 没有 什么 不 妥 . 

因此 , 本 节 的 核心 问题 便 是 如 何 有 效 地 计算 分 解 (4.4.1) 和 (4.4.2). 
4.4.1 Parlett-Reid 算法 


Parlett and Reid(1970) 给 出 了 如 何 用 高 斯 变换 计算 (4.4.1). 我 们 用 n — 5 的 
和 矩阵 在 第 = 2 步 的 执行 情况 来 说 明 这 个 算法 . 在 这 步 的 开始 , 矩阵 4 已 被 化 为 
oa, | 0 0 0 
Bi a2 v3 v4 Us 
AY -Mj;P,APIMT—-| 0 v x x x |, 
0 v4 x x x 


0 vs x x x 


其 中 置换 矩阵 P, 的 选取 使 得 高 斯 变换 阵 Mi 的 元 素 不 大 于 1. WA (vs, v4, vs)" 
中 的 最 大 元 素 , 确定 一 个 3 x 3 置换 矩阵 Po, 使 得 


Us 


a | => M] = max([va], [Va], [9s| J- 


Us Ùs 
如 果 最 大 元 素 为 0, WS Ms = P: — 工 并 继续 下 一 步 . 否则 , 4 Po = diag(I2, P2), 
M,=I- aMe?, 其 中 


a® =(0 0 0 %4/t3 7/7)", 


则 会 有 
a B 0 0 0 
Br ag v3 0 0 
AO = MP -AVPIMT =| 0 % x x x 
0 0 x Xx x 
0 0 x x x 


一 般 地 , 算法 执行 n — 2 步 后 得 到 三 对 角 和 矩阵 
T = A0-9 = (M, 2Pn 3: MiPi)A( Mn Ps 2: MiP1). 
Wik, #A P = Pn2:… Pl 和 
L= (Mn-2Pn-2 Mı PP"), 


Wü] (4.4.1) 成 立 . 考察 工 可 发 现 工 的 第 1 列 是 el, RB k 3I (k > 1) 的 次 对 角 线 上 
RTCA Mr- 的 乘 子 组 成 的 . 


44 对 称 不 定 方程 组 ”143 


若 想 有 效 地 实现 Parlett-Reid WE, 要 小 心地 计算 修正 矩阵 
AO = M;(P,A“-) PT) MT. (4.4.3) 


为 了 尽量 少 用 记号 来 说 明 所 涉及 的 问题 , 假定 B= BT Æ n- k 阶 的 而 且 想 计算 
B, = (I — wel)B(I — weT)?, AP we RF, e; Æ L, 4 的 第 1 列 . 此 计算 是 
(4.4.3) 的 核心 , 如 令 
u = Bel— buy, 
则 对 称 和 矩阵 B = B-wuT- uw? 的 下 半 部 可 在 2(n — k)? 个 Bop 内 算出 . JA k— 1 
Bl k--n—2 累加 此 量 , 即 知 Parlett-Reid 算法 共 需 203/3 个 flop, 这 是 我 们 所 期 望 
的 两 倍 . 
例 4.4.1 Je X Parlett-Reid 算法 应 用 于 


012 3 
A=|1222|， 
2 2 3 3 
3.2 3 4 


则 
Pı = |e; e, es e]. 
Mi; = I4 — (0,0,2/3,1/3)Te], 
P2 = [el ez €4 es], 
M^ = I, — (0,0,0, 1/2)Ted, 
E PAP” = LTL”, RY P —[ei es ei e], 


1 0 0 0 03 0 0 

lo 1 0 0 p.18 4 38 0 
0 1/3 1 0’ 0 2/3 10/9 0 
0 2/3 1/2 1 0 0 0 1/2 


4.4.0 Aasen 方法 


通过 重新 考虑 Parlett-Reid 算法 中 某 些 计算 过 程 , Aasen (1971) 提出 一 种 能 在 
n3/3 个 flop 内 计算 (4.4.1) 的 方法 . 我 们 需要 三 对 角 和 矩阵 的 记号 : 


Q1 Br e 0 
B œ ` : 
T= . 
. ` Bn-1 
0 > Bn On 


为 清晰 起 见 暂时 不 考虑 选 主 元 , BEME A- LTLT 存在 , 其 中 工 是 单位 下 三 
角形 矩阵 且 L(:,1) = e. Aasen 方法 是 如 下 进行 的 : 
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for j=1:n 
计算 h(1: j), iE Y h - TLTe; = He; 
计算 a(i) 
ifjzn-1 
计算 bl) (4.4.4) 
end : 
ifij<n—2 
计算 OG +2:n,7 +1) 
end 
end 
因此 Aasen 算法 的 第 j 步 的 任务 是 计算 工 的 第 7 了 列 和 工 的 第 (j + 1) 列 . 这 算法 
利用 了 H —TL! 是 上 Hessenberg 矩阵 这 一 事实 . 由 (4.4.4) WHER o(5), pG) 和 
Lj +2:n,j+1) 的 计算 由 向 量 AL: 3) = H(1: j,j) 决定, 让 我 们 看 一 看 其 中 的 
原因 . 
考虑 方程 A= LH 的 第 j 列 : 


A(:,j) = L(,1:3 - 1)h(1 :7+1). (4.4.5) 


这 说 明 4(i,7) 是 L 的 前 j-- 1 列 的 线性 组 合 . 特别 地 ， 
A(j *1:n,j) 2 L(j -1:n,1:5)h(1: + LG -1:m,j - D)h(j +1). 
如 果 我 们 计算 
v(jr1:n)- A(j-1:nj) - L(j -1:n,1:3)h(1: 9), 

则 

LG +1:in,j+ 1h +1) =vG4+1:n). (4.4.6) 
因此 , ZG +2:n,7+1) Æ v(j - 2:n) 的 倍数 (scaling). AA L BREE Hee 
RE, 由 (4.4.6) 得 

vj+1)=hG +1), 

于 是 从 同一 方程 可 得 到 求 工 的 第 (j -- 1) 列 的 方法 ， 

Lj +2:n,j +1) =vG +2: n)/o(j + 1). 
请 注意 L(j42:n,j 4 1) 是 加 权 gaxpy 运算 . 

接 下 来 给 出 求 off) 和 B() 的 公式 ， 比 较 方程 H = TLT 中 的 (jj) 元 和 
G-- 1,4) 元 ， 利 用 约定 8(0) = 0, 我 们 发 现 AG) = BG — ILG, 一 1) + oC) 和 
h(j--1)-— v(j-- 1), 于 是 

o(j) = h(i) - BG - ILG, 3 — 1), 
B(3) = vG + 1). 
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由 上 我 们 可 以 写 出 完整 的 Aasen 算法 : 
for j=1:n 
计算 h(1 :7), 3E. h — TLTe; 
ifj=1vj=2 
a(j) = AG) 
else 
ali) = h(3) - BG ~ 1)LG. j — 1) 
end 
ifj n—-l (4.4.7) 
v(jc-1:n)— A(j -1:n,j3) - L(j -1:m,1: fh: j) 
AG) =v +1) 
end 
ifj<n-2 
L(jr2:n,j41) 2v(j -2:n)/wv(j +1) 
end 
end 
我 们 还 需 详 述 h(1 : 7) 的 计算 过 程 . 由 (4.4.5) 得 
A: jj) = L(3: 9,1: j)h( : j). (4.4.8) 


由 于 已 知 LRAT 7 94, 故 这 个 下 三 角 方 程 组 可 用 来 求解 h(1 : 7). 然而 利用 方程 
H = TL" 的 第 j 列 可 以 得 到 求解 H: j,j) 的 更 有 效 的 方法 ， 确 切 地 说 , 约定 
B(0)L(j,0) = 0, WHF k =1: j, 我 们 有 

h(k) = B(k — 1)L9,k — 1) + o(k) LG, k) + B(R)LG, k + 1). 


除了 天 = 了 的 情形 之 外 , 这 公式 可 直接 用 来 计算 , 因为 我 们 还 没 计算 出 a(;) 和 A(z). 
然而 一 旦 h(1:j — 1) 已 知 , 可 由 三 角 方程 组 (4.4.8) 最 后 一 行 求 得 hl), BB 


h) = AG, i) - F LG, RAR). 
k=1 


综合 上 面 结论 , 用 数组 (1: n) 来 存储 LG,1: 5), (4.4.7) 中 的 h(1 : 7) 的 求解 
过 程 如 下 : 
if j=1 
h(1) = A(1,1) 
elseif j — 2 
h(1) = 8(1); h(2) = A(2,2) (4.4.9) 
else 
(0) = 0;1(1) 2012:;—1) = L(5,2:3—151() - 1 
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h(i) = AG, 3) 
fork—1:j-1 
h(k) = B(k — 1)(k — 1) + a(k)i(k) + B(E)U(k + 1) 
h(j) = h(j) — (K)h(k) 
end 
end 
YER, 用 这 个 OG) 的 方法 来 计算 h(l : 7), 则 算法 (4.4.7) 中 的 主要 工作 是 求 v(j +1:n) 
的 gaxpy 运算 . 在 第 j 步 中 , gaxpy f$ 2j(n—j) 个 flop. 累加 j=1:n 可 知 Aasen 
算法 需要 n3/3 个 flop. 因此 Aasen 算法 和 Cholesky 算法 的 运算 量 是 相同 的 . 


4.4.8 ETKI Aasen 方法 


现在 我 们 知道 , L 的 列 是 由 (4.4.7) 中 的 v 向 量 做 数 乘 得 到 的 . 如 果 那 个 数 乘 
因子 很 大 , 也 就 是 说 某 个 v + 1) 很 小 , 就 会 引起 麻烦 . 为 避免 出 现 这 个 问题 , 只 需 
oj 上 1: n) 中 的 最 大 元 素 置换 到 最 上 面 . 当然 , 此 置换 变换 必须 恰当 地 作用 于 
A 的 未 约 化 部 分 和 工 的 已 计算 部 分 。 

算法 4.4.1 (Aasen 方法 ) dX A ER"*" 是 对 称 的 , 则 本 算法 计算 出 一 个 置 
BEM P, 一 个 单位 下 三 角形 抵 阵 L 和 一 个 三 对 角形 矩阵 全 , 使 得 PAP = LTL", 
且 |LG j) <1, 置换 矩阵 已 由 整数 向 量 piv 来 标记 . 确切 地 说 , P = Pic Pn-2， 
其 中 P; 是 将 单位 矩阵 的 第 piv(j) 行 和 第 j 十 1 行 互 换 所 得 . T 的 对 角 元 和 次 对 角 
元 分 别 存储 于 o(1: n) 和 8(1:n — 1) 中 ,只 计算 了 2:m2:7m) 的 次 对 角 线 部 分 : 

forj—1:n 

由 (4.4.9) 计算 h(1: j) 

ifj=1Vj=2 
o(j) = h(j) 

else 
alj) = h(3) - BG — LCG, j — 1) 

end 

ifjgn-1 
v(j*1:n)— A(jt1:n,5) - Lj c 1:n 13: )h(1 : j) 
R q AF Wl — llo 1: nlo RBJ+1<q<n 
piv(j) = goli +1) = vg); LG +1,2: j) > L(a2 :j) 
A(j -1,j-1:n) e A(q,j - 1:m) 
A(j+1in,j +1) AG+1:7,9) 
BO) = vG +1) 

end 

ifj«n-2 
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Lj +2:n,7 +1) 2 v(j -2:m) 
ifv(j +1) Z0 
L(j-2:n,j*1) 5 L(j  2:n,j - D/v(j 1) 
end 
end 
end 
Aasen 方法 与 列 选 主 高 斯 消去 法 在 同样 意义 上 是 稳定 的 . 这 就 是 说 , 可 以 得 到 一 个 
靠近 A 的 矩阵 之 精确 分 解 , 只 要 UTIS/ILALo = 1, 其 中 全 RSM A TE 
值 . 通常 , 这 个 结论 几乎 总 是 对 的 . 
在 Aasen 算法 的 实际 执行 过 程 中 , LAT RBS A 的 下 三 角 部 分 . TE 
是 n = 5 的 情形 : 
o1 
B1 o2 
A- | i2 pm as 
l2 lag fs os 
ls2 ls3 ls4 pa os 
注意 在 这 个 排列 中 , L 的 列 均 向 左 移 了 . 
4.44 对 角 选 主 元 法 
下 面 讨论 分 块 LDLT 分 解 (4.4.2) 的 计算 . 我 们 仿效 Bunch and Parlett(1971) 
的 讨论 . 假定 


E ct s 

P AP] = 
C B n-—s 
8 n—s 


其 中 Pi 是 置换 矩阵 且 s = 1 或 s= 2. 如 果 A AES, 则 总 可 以 挑选 这 些 量 使 E dE 
奇异 , 从 而 可 写成 


-1pT 
PiAPi = | on u E poro" | E s | 
考虑 到 稳定 性 , s x s H ET E 的 选取 应 使 得 
A = (&j) = B- CECT (4.4.10) 
中 的 元 素 au; 被 适当 限界 . 为 此 , Rae (0,1) 已 给 定 , 定义 度量 : 
Ho = max |as;, pc max Jas]. 
Bunch-Parlett 的 选 主 元 方案 如 下 : 


if u1 > apo 
s=1 
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选取 P, 使 得 len| = m 


else 
s=2 
选取 已 使 得 |eai| = uo 
end 
由 (4.4.10) 容易 证 得 , 如 果 s = 1, 则 
là] < (1 + oa- uo. (4.4.11) 
ii s-— 2, W 3 
là; < I— po. (4.4.12) 


4 (+a)? 与 (3 一 Qa)/(1 — o) 相等 , 其 中 (1 - 071)? 是 对 应 于 两 步 s=1 的 
增长 因子 ， (3 一 a)/(1 一 a) 是 对 应 于 s = 2 的 增长 因子 Bunch 和 Parlett 得 出 
o = (1 十 V17)/8 是 在 极 小 化 元 素 增 长 界 的 意义 下 之 最 佳 值 . 

然后 , 将 上 面 给 出 的 约 化 过 程 用 到 n — s BORE A. 利用 简单 的 归纳 法 可 
知 , 分 解 (4.4.2) 存在 , 如 果 不 考 虑 选 主 元 的 工作 量 , 则 分 解 运算 需 mn3/3 个 flop. 
44.5 ”稳定 性 及 效率 

Bunch(1971) 证 明了 上 述 对 角 选 主 元 法 是 与 全 选 主 元 的 高 斯 消去 法 同样 稳定 
的 . 不 幸 的 是 , 整个 过 程 却 需 做 na/12 ~ 03/6 次 比较 运算 , 因为 在 每 步 约 化 uo 都 
涉及 二 维 搜索 . 实际 的 比较 次 数 依赖 于 2 x 2 矩阵 主 元 的 数目 , 但 一 般 情况 下 计算 
(4.4.2) 的 Bunch-Parlett 方法 要 比 Aasen 法 慢 得 多 . 参见 Barwell and George(1976). 

Barwell and Kaufman(1977) 的 对 角 选 主 元 方法 却 不 存在 这 个 问题 . 他 们 的 算 
法 中 每 步 约 化 仅 需 搜索 两 列 . 考虑 约 化 的 第 一 步 便 可 充分 说 明 这 一 技巧 . 


a = (1+ V17)/8; A = jar1| = max{|aail,--- ,loni|} 
if 和 A>0 
if |a11| 2 aA 
s—-LB-I 
else 
o = |apr| = max{lair,- ++ , |@r—a,r|; lacu ,|anr|} 
if olan| > od? 
s=1R=1 


elseif |a,,| > oc 

s= 1, 选取 已 444 (PEAP) = arr 
else 

s — 2, 选取 P, 使 得 (PL AP,)21 = arp 


end 
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end 
end 
Bunch-Kaufman 算法 总 体 上 需要 2/3 个 flop, O(n?) 次 比较 , 而 且 和 本 节 其 他 算法 
一 样 需要 n2/2 个 存储 单元 . 
例 4.4.2 ”如 果 将 Bunch-Kaufman 算法 应 用 于 
1 10 20 
A-—]10 1 30 
20 30 1 
则 第 一 步 有 和 = 20,7 = 3,0 = 30,p 二 2. RRM P= [es ea ei] 的 作用 结果 为 
1 30 20 
PAPT = | 30 1 10}. 
20 10 1 
然后 一 个 2 x 2 的 主 元 用 来 产生 如 下 约 化 


1 0 0 1 30 0 
PAP! = 0 1 0 30 1 0 
0.3115 0.6563 1 0 0 —11.7920 


1 0 0 
0 1 Of. 
0.3115 0.6563 1 
4.4.6 ”关于 平衡 方程 组 的 说 明 
有 一 类 重要 的 对 称 非 定 矩 阵 形 如 


, 


4-| c A n (4.4.13) 
B 0 p 
n p 


其 中 C 是 对 称 正定 矩阵 , B 是 列 满 秩 的 . 这 两 个 条 件 保证 了 A 是 非 奇异 的 . 
当然 , 本 节 的 那些 方法 同样 适用 于 A 但 是 这 些 方法 没有 利用 上 这 类 秆 阵 的 特 
殊 结 构 , 因为 选 主 元 方法 破坏 了 (2,2) 位 置 上 的 0 块 , 下 面 的 方法 尝试 利用 A 的 分 
(a) 计算 C 的 Cholesky 分 解 C = GGT, 
(b) A GK = B T K € R™®?; 
(c) 计算 KTK = BTC-1B &j Cholesky 2 HH” = KK. 


于 是 
a-l c 0 GT K 
CIK? H 0 -HT 
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理论 上 , 这 种 三 角 分 解 可 用 来 求解 平衡 方程 组 : 


| HIMEHI (4.4.14) 
然而 , 考察 (b) WAL (c) 步 可 清楚 看 到 计算 解 的 准确 度 依赖 于 KC), 且 其 值 可 能 比 
&CA) 大 得 多 . 人 们 已 对 这 一 情形 进行 了 仔细 的 分 析 并 提出 了 许多 利用 结构 的 算法 . 
在 本 节 的 最 后 简要 回顾 了 此 方面 的 文献 . 
在 结束 本 节 之 前 考虑 (4.4.14) 的 一 个 特例 , 此 例 清楚 地 指出 , 一 个 算法 是 稳定 
的 意味 着 什么 和 扰动 分 析 如 何 能 够 引导 人 们 寻找 更 好 的 方法 .在 许多 重要 的 应 用 
合 g = 0,C EHAE, 且 解 的 子 向 量 y 是 非常 重要 的 . 对 (4.4.14) 做 变换 , y 
可 表示 为 


y -(BTC^!B)B'c f. (4.4.15) 
此 式 再 一 次 让 我 们 觉得 (C) 对 计算 出 的 y 值 的 准确 度 有 影响 . 但 是 , 可 证 明 
I(BTc7 B)? B'C^'| € vs, (4.4.16) 


其 中 上 界 de 是 与 C 无 关 的 , 这 表明 y 对 于 C 中 的 扰动 是 不 灵敏 的 。 求 解 此 
向 量 的 稳定 方法 应 遵循 上 述 原 则 , 即 计算 得 的 y 值 的 准确 度 应 是 不 依赖 于 C KI. 
Vavasis(1994) 给 出 了 一 个 具有 该 性 质 的 方法 ， 它 涉及 仔细 地 形成 一 个 矩阵 V € 
g^x-», 其 列 向 量 是 BT C-! 之 零 空 间 的 一 组 基 . 然后 , 求解 n x n 线性 方程 组 


IB vij ý | = 
这 保证 f = By + Vq. TÆ BTC f = BTC By, 故 知 (4.4.15) 成 立 . 
习 Hh 


4.4.1 证明: 如 果 一 个 n xn 对 称 和 矩阵 4 的 1x 10 2 x 2 PETRA SERES, 则 
A 为 零 矩阵 . 

4.4.2 EHS: 如 果 A 是 正定 的 , 则 Bunch-Kaufman 算法 中 不 会 出 现 2 x 2 主 元 . 

4.4.3 ”重新 设计 算法 4.4.1 使 得 计算 过 程 中 涉及 A 的 下 三 角 部 分 , 对 j= 1:n 以 a(j) 
覆盖 AG, jo1:n-10 64) Bi AG- 1,5, Wi =2in-1Mis=j+ iin 以 
L(i,j) 覆盖 A(i,j 一 1). 

4.4.4 ”假定 A c R'*^ 是 非 奇异 的 、 对 称 的 和 严格 对 角 占 优 的 ， 写 一 个 算法 计算 下 面 


分 解 T T 
R 0 RT S 
mms [s m] 
其 中 Re RX’ 和 RE 及 -月 < 有 为 非 奇异 的 下 三 角形 矩阵 ， 开 是 置换 矩阵 ， 
4.4.5 ”证 明 : 如 果 


Au Anz | P 
A = 
| An -Az | p 


n p 
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是 对 称 的 并 且 Au 和 A22 是 正定 的 ， 则 A 有 一 个 LDLT 分 解 ， AA 


D- | Di 0 | ， 
0 — Ds 
其 中 Di e R°*” 和 D; c R?*? 的 对 角 元 都 为 正 . 
4.4.6 ”证 明 (4.4.11) 和 (4.4.12). 
4.4.7 ”证 明 (BTOB)! A^ 的 (2,2) Xt, 其 中 4 由 (4.4.13) 给 出 . 
4.4.8 KEZE (4.4.15) 的 特殊 情形 , 定义 矩阵 


M(a) = (BTC^!1By) BTO, 


其 中 C = (In oexel), a > -1 并且 ex = Inl, k) GER C 是 将 o 加 到 单位 矩阵 的 第 
(k, k) STURT). 假设 B c R^"? 的 秩 为 p, 证 明 

M(a)= (BTB)'B* (1. 一 aoe”) , 
其 中 w-(,-B(B'B)" BT)e, 证明: WR wl = 0 X |lwllz = 1, W |Ma) = 
1/omin(B), WH 0 < lz < 1, 则 


IM) < max { hp qas) / me 
从 而 | MG] 有 着 与 a ERMER. 


本 节 注 释 与 参考 文献 
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J. R. Bunch (1974). “Partial Pivoting Strategies for Symmetric Matrices,” SIAM J. Num. 
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M. T. Jones and M. L. Patrick (1993). “Bunch-Kaufman Factorization for Real Symmetric 
Indefinite Banded Matrices,” SIAM J. Matriz Anal. Appl. 14, 553-559. 

由 于 在 选 主 元 的 过 程 中 必须 对 还 未 处 理 的 列 进行 扫描 ,因此 要 获得 一 个 含有 大 量 gaxpy 
运算 的 对 角 选 主 元 算法 很 困难 (虽然 可 能 ). 另 一 方面 , Aasen 方法 很 自然 地 含有 丰富 的 gaxpy 
运算 . 这 两 种 方法 都 有 分 块 形式 , LAPACK 利用 了 对 角 选 主 元 法 . 不 同 的 效率 在 下 述 文献 中 
有 讨论 : 

V. Barwell and J. A. George (1976). “A Comparison of Algorithms for Solving Symmetric 
Indefinite Systems of Linear Equations,” ACM Trans. Math. Soft. 2, 242-251. 

M. T. Jones and M. L. Patrick (1994). “Factoring Symmetric Indefinite Matrices on High- 
Performance Architectures,” SIAM J. Matriz Anal. Appl. 15, 273—283. 

另 一 种 经 济 的 选 主 元 策略 利用 了 基于 一 种 更 不 严格 的 交换 法 则 的 误差 界 , 这 种 思想 是 从 
PRENSA, 参阅 : 

R. Fletcher (1976). “Factorizing Symmetric Indefinite Matrices,” Lin. Alg. and Its Applic. 
14, 257-272. 

在 求解 对 称 方程 组 Ax = b 之 前 , 应 当 对 A 进行 平衡 处 理 . 一 个 实现 这 个 任务 的 O(m”) 
的 算法 在 下 述 文献 中 给 出 : 

J. R. Bunch (1971). “Equilibration of Symmetric Matrices in the Max-Norn,” J. ACM 18, 
566-572. 

与 对 称 不 定 方程 组 类 似 , 存在 求解 反对 称 方程 组 的 解法 , 请 参阅 : 

J. R. Bunch (1982). “A Note on the Stable Decomposition of Skew Symmetric Matrices,” 
Math. Comp. 158, 475-480. 
关于 平衡 方程 组 的 文献 分 散 于 它 在 其 中 起 重要 作用 的 几 个 应 用 领域 . 指明 这 些 文献 出 处 

的 很 好 的 综述 文章 包括 : 

G. Strang (1988). “A Framework for Equilibrium Equations,” SIAM Review 30, 283-297. 

S. A. Vavasis (1994). “Stable Numerical Algorithms for Equilibrium Systems,” SIAM J. 
Matriz Anal. Appl. 15, 1108-1131. 

其 他 文章 包括 : 

C. C. Paige (1979). “Fast Numerically Stable Computations for Generalized Linear Least 
Squares Problems,” SIAM J. Num. Anal. 16, 165-171. 

A. Bjórck and I. S. Duff (1980). “A Direct Method for the Solution of Sparse Linear Least 
Squares Problems,” Lin. Alg. and Its Applic. 3A, 43-67. 

A. Bjórck (1992). “Pivoting and Stability in the Augmented System Method,” Proceedings of 
the 14th Dundee Conference, D. F. Griffiths and G. A. Watson (eds), Longman Scientific 
and Technical, Essex, U. K. 

P. D. Hough and S. A. Vavasis (1996). “Complete Orthogonal Decomposition for Weighted 
Least Squares,” SIAM J. Matriz Anal. Appl., to appear. 

这 些 文章 中 的 有 些 应 用 了 下 一 章 和 12.1 节 将 讨论 的 QR AAPA) FR AG. 
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结构 中 富 仿 矩阵 运算 和 扰动 理论 的 问题 , 在 寻求 稳定 有 效 的 算法 方面 担当 重要 角色 . 对 平 

衡 方程 组 有 类 似 于 (4.4.15) 的 几 个 重要 结果 , 它们 为 最 有 效 的 算法 奠基 . 参阅 : 

A. Forsgren (1995). “On Linear Least-Squares Problems with Diagonally Dominant Weight 
Matrices,” Technical Report TRITA-MAT-1995-OS2, Department of Mathematics, Royal 
Institute of Technology, S-100 44, Stockholm, Sweden. 

和 其 中 所 给 出 的 文献 . 对 (4.4.15) 的 讨论 可 在 下 文中 找到 : 

G. W. Stewart (1989). “On Scaled Projections and Pseudoinverses,” Lin. Alg. and Its 
Applic. 112, 189-193. 

D. P. O'Leary (1990). “On Bounds for Scaled Projections and Pseudoinverses,” Lin. Alg. 
and Its Applic. 132, 115-117. 

M. J. Todd (1990). ^A Dantzig-Wolfe-like Variant of Karmarker's Interior-Point Linear 
Programming Algorithm,” Operations Research 38, 1006—1018. 


4.5 “分 块 方程 组 


在 许多 应 用 中 出 现 的 算 阵 都 具有 可 利用 的 分 块 结构 . 作为 一 个 例子 , 我 们 讨论 
形 如 


D, Fi EA 0 21 bi 
Ei D; e, : To bo 
: uU 78s Faa : : 
0 -6 Ena D, Ln Dn 


的 分 块 三 对 角 方程 组 . 在 此 我 们 假定 所 有 的 分 块 都 是 gd x q 的 , m; 和 b; 都 属于 R. 
本 节 我 们 讨论 求解 此 类 问题 的 分 块 LU 方法 和 称 作 循环 约 化 的 分 而 治之 方法 , 同时 
简单 介绍 Kronecker 积 方程 组 . 


4.5.1 分 块 三 对 角 LU 分 解 
先 来 考虑 (4.5.1) 中 矩阵 的 分 块 LU 分 解 . 定义 分 块 三 对 角 和 矩阵 As 为 


D, F; EE 0 
E; D2 | : 
Ak = "ON | kolin (4.5.2) 
U Fia 
0 Er-1 Dk 
比较 
I 0 U, Fi 0 
L| I : 0 U: : 
A= a "a (4.5.3) 
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中 的 阵 , 可 得 求 Li 和 U, 的 算法 如 下 : 
Ui = Dı 
fori=2:n 
AK Li-1Ui-i = Ej-i 解 出 Li_1 (4.5.4) 
U; = Di — Li- Fia 
end 
只 要 U, 是 非 奇异 的 , 这 个 过 程 就 有 定义 . 例如 , 2458 BE A, , A, 是非 奇异 的 时 ， 
这 就 能 够 得 到 保证 . 
一 旦 算出 (4.5.3) 的 分 解 , (4.5.1) 中 的 向 量 x 可 通过 向 前 和 向 后 迭代 来 求 得 : 
yı = by 
fori=2:n 
yi = bi — Li-1yi-1 
end (4.5.5) 
从 Un£n = yn AE Tn 
fori=n—1:-1:1 
从 Tim = yi — Fixi i 解 出 zi 
end 
为 执行 (4.5.4) 和 (4.5.5), 每 一 个 U; 必须 分 解 , 因为 需要 求解 以 这 些 子 矩阵 为 系数 
的 线性 方程 组 . 这 可 通过 选 主 元 的 高 斯 消去 法 来 实现 . 然而 这 却 不 能 保证 整个 算法 
的 稳定 性 . 只 需 考 虑 分 块 大 小 q 为 1 的 情况 便 可 看 出 这 点 . 


4.5.2 ”分 块 对 角 占 优 方程 组 


为 得 到 令 人 满意 的 LA U: 的 界 , 有 必要 对 分 块 矩阵 做 一 些 假设 . 例如 , 假设 
对 i= i:n 有 分 块 对 角 占 优 的 关系 : 


Dz Wasilla + Elh) <1, En = Fo =0, (4.5.6) 


那么 存在 (4.5.3) 的 分 解 , 且 可 以 证 明 L AU; 满足 不 等 式 


lil: < 1, (4.5.7) 


[Villa < || Arla. (4.5.8) 
4.5.3 ”分 块 解法 与 带 状 解法 的 比较 
到 此 我 们 很 容易 提出 这 样 的 问题 , 为 什么 不 将 (4.5.1) 中 的 矩阵 4 简单 地 看 作 
是 一 个 带宽 为 2a — 1 的 以 标量 为 元 素 的 qn x gn AB EE? 可 应 用 4.3 节 中 给 出 的 带 
状 高 斯 消去 法 解 之 . 这 样 求解 的 效率 依赖 于 分 块 的 维 数 和 每 块 的 稀疏 模式 . 
我 们 通过 一 个 很 简单 的 情形 来 闭 明 这 一 点 , 假定 需求 解 
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D, Fi zı | | b 4 

E D, mi bl (4.5.9) 
EK D, 和 D, 是 对 和 角 和 矩阵 , Fi 和 E. 是 三 对 角 和 矩阵 .假定 每 个 分 块 都 是 xm 
的 , 也 假定 通过 (4.5.3) 和 (4.5.5) 求解 (4.5.9) 是 “可 靠 的 ”. ER: 


Ui-D, (对 角 ) 
Li= EU1,, (三 对 角 ) 
U2= D2 — LiF, (五 对 角 ) 
yi -bi, 
ya — b; — E\(Dy"y,), 

U 522 = y», 


Dizi-—y;-— Fixo. 


于 是 , 由 最 初 的 带 状 分 块 矩 阵 通过 简单 的 n MERET ET RHR. 
另 一 方面 , 将 带 状 高 斯 消去 法 机 械 地 应 用 于 (4.5.9) 会 因 方 程 带宽 为 n 十 1 而 
耗费 大 量 不 必要 的 计算 和 存储 空间 . 然而 , 我 们 指出 , 通过 置换 矩阵 


P= [ei, €541,; 2, ** ; €n; ezn] (4.5.10) 


将 方程 组 行 和 列 进行 置换 , 可 以 发 现 (以 n= 5 为 例 ): 


PAP! = 


oo oo OO xX OX x 
>o c c o o o X x x 
oO o 00 X Ox x x o 
ooo oO xX X x Ox 
oo xX © XK x x O90 & 
o o cO xX X X ox oo 
xX x X X ooooco 
x X X OX CO CO CO Of 
x x OO OO OO OSD 
x X OX ocoooocococ 


e 
e 
e 


x 


此 矩阵 的 上 带宽 和 下 带宽 都 为 3, 因此 对 矩阵 4 的 该 置换 形式 用 带 状 高 斯 消去 法 
就 得 到 一 个 很 合理 的 算法 . 

压缩 带宽 的 置换 是 很 重要 的 问题 . 请 参考 George and Liu (1981, 第 4 章 ). 有 关 
求解 分 块 三 对 角 方 程 组 的 详细 讨论 , 请 参阅 Varah (1972) 和 George (1974). 
4.5.4 分 块 循环 约 化 法 


接 下 来 给 出 分 类 循环 约 化 法 , 它 可 用 来 求解 分 块 三 对 角 方 程 组 (4.5.1) 的 某 些 
很 重要 的 特例 . 为 简便 起 见 , 假定 A 具有 如 下 形式 ， 
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D F 
F D 


A- € Rraxna, (4.5.11) 


: Us. F 
0 o> F D 


HH FA D 是 g xg 和 矩阵 且 满 足 DF = FD. 同时 假定 n= 2* - 1. 这 些 条 件 在 
许多 重要 的 应 用 中 都 是 成 立 的 , WIRE Poisson 方程 的 离散 化 . 在 这 种 情形 下 


4 -1 eel 0 
-1 A4 ^ : 

D= EN E E (4.5.12) 
: uo 8. 24 
0 .…. -1 4 


E F=- 整数 ”由 网 格 的 大 小 决定 , 通常 可 选 为 具有 形式 n = 2* - 1 ( 当 维 数 
不 是 这 种 形式 时 , Sweet (1977) 给 出 了 处 理 方法 ). 
循环 约 化 法 的 基本 思想 是 将 问题 的 维 数 反复 地 减 半 , 直到 得 到 一 个 关于 未 知 子 
HE ca- 的 gxg 方程 组 . 这 个 方程 组 通过 标准 方法 解 出 . 前 面 消去 的 x; 再 通过 
向 后 迭代 法 解 出 . 
考虑 n= 7 情形 足以 说 明 方法 的 一 般 情 形 : 
b, = Da, + Fao, 
bo = Fa, + Dz» + Fas, 


b; = Fa. + Drs + Fo, 
ba = Frx3 + Dx, + Fas, (4.5.13) 
bs = Frwa + Dæ; + Fre, 


be Fas + Dug + F27, 
b. = Fug + Dzrzz, 


HF i = 2,4 和 6, 我 们 分 别 用 F, —D IF eRBi-1 +. Bi tmMyi+it 
方程 , 然后 将 得 到 的 方程 相 加 : 
(2F? — D?)x2+ F?^a, = F(b; + b3) — Dbz, 
F’x.+(2F? — D*)x4+ F? x6 = F(b; + bs) — Dba, 
F?z,4(2F? — D®)ag = F(bs + b7) — Dbs. 
这 样 , 用 这 种 技巧 我 们 已 将 下 标 为 奇数 的 mi 消去 , 得 到 一 个 约 化 的 分 块 三 对 角 方 
BA, 其 形式 为 


Dg; + Fg, = AD, 
Fg, + DY a4 + Fg, = BY, 
Fs, T DO sg = a), 
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其 中 , DO = 282 - D? 与 FO = pF? 可 互 换 . 应 用 如 上 相同 的 消去 方法 , 将 这 三 个 
方程 分 别 乘 以 FO, DO 和 PO. 将 这 些 变 换 后 的 方程 相 加 , 得 到 一 个 方程 : 
Q[FO)? — DO )a, = POEM +) 一 DOW, 
将 其 记 作 
D? x4 = 9. 
这 样 循环 约 化 便 完 成 了 . 现在 求解 这 个 (小 的 )g x 9 方程 组 得 到 向 量 x4. 向 量 x 
和 zg 可 通过 求解 方程 组 
DO, = os!) — Fg, 
Dg = Bo 一 下 (aa 
而 解 得 . 最 后 , 应 用 (4.5.13) 中 第 1, 3, 5, 7 个 方程 来 分 别 计算 m1, m3, m5 和 z7. 
对 一 般 的 n = 2* — 1 的 情况 , 我 们 令 DO = D, FO = Fu? = b, 然后 进行 
如 下 计算 ; 
forp=1:k-1 
Fo) = [p(»-)]? 
DP) = 9p» — [Dv-9p 
r = 2P 
for j—1:2*?—1 (4.5.14) 
DD = POD OR a + OP rg) DPD 
end 
end 
然后 , z; 由 下 面 的 计算 过 程 解 出 : 
从 DE-D tak- = ped) WE nuca 
for p=k—2:-—1:0 


r = 2P 
for j= 11289" (4.5.15) 
ifj-1 
c= ay — FP tar 
elseif 7 = 2*-P-! 
c= OG) 1. 7 FO zj-2) 
else 
c= bay — FO (wage + 2(2j—2)r) 
end 
从 DO Toji = c BH goi ir 
end 


end 
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执行 这 些 递 推 的 工作 量 在 很 大 程度 上 依赖 于 DO 和 FO 的 稀疏 性 . 在 较 坏 情况 
F, 当 这 些 和 矩阵 是 满 的 时 , 总 的 flop 数 为 log(n)g? BR, 为 保证 约 化 过 程 的 稳定 性 ， 
执行 时 须 加 小 心 . 更 详细 的 讨论 , 请 见 Buneman(1969). 

例 4.5.1 假设 在 (4.5.14) F, q = 1,DD = (4), F = (-1), 我 们 需要 求解 


4-1 0 0 0 0 0 Ly 2 
-1 4-1 0 0 0 0 xe 4 
0-1 4-1 0 0 O0 T3 6 
0 0-1 4-1 0 0 24 | 一 | 8 
0 0 0-1 4-1 O0 Ts 10 
0 0 0 0 -1 4 -1 T6 12 
0 0 0 0 0-1 4 Z7 22 


通过 执行 B 5.15) T 约 化 的 方程 组 : 


0 $3 —24 
1 -14 1 4 |=| —48 |, p=1, 
1 —14 Te —80 


[-194] = [x4][-776], p=2. 


和 


则 由 (4.5.16) 可 得 到 z: 
p=2: m=4, 
p=1: z2—2, zg-—6, 
p=0: m=1, z3=3, 7X5=5, 27 =7. 
循环 约 化 是 分 而 治之 算法 的 一 个 例子 . 1.3.8 节 和 8.6 节 讨论 了 其 他 分 而 治之 
方法 . 
4.5.5 Kronecker 积 方程 组 
如 果 Be R™" C eR? 则 定义 Kronecker RA 


biC bC c bine 

bC bC +++ ban 
A=BeC= . . . . 

bac bm2 C tt bmnC 


因此 , A 是 一 个 m x n 分 块 矩阵 , 其 (ij) 块 为 bij;C. Kronecker 积 是 与 许多 网 格 离 
散 化 问题 相关 联 产 生 的 , 且 贯 穿 于 信号 处 理 中 ，Kronecker 积 所 满足 的 一 些 重要 性 
质 包 括 

(A9 B)(C 8 D) = AC 6 BD, (4.5.16) 


(A8 B)! = AT & BT, (4.5.17) 
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(A®B)'=A'@B", (4.5.18) 

其 中 假定 所 有 的 乘法 运算 都 有 意义 . 
与 Kronecker RRK “ve” 运算 
i X(:,1) 


X € R"*" & vec( X) = € R™. 


X(:,7) 
于 是 , 矩阵 的 vec 运算 就 是 它 的 列 向 量 “ 堆 ”起 来 . 可 以 证 明 
Y =CXB' e vec(Y) = (B & C)vec( X). (4.5.19) 


因此 ， 求解 Kronecker 积 方程 组 
(B8C)z=d 


等 价 于 求解 关于 X 的 矩阵 方程 CX BT = D, 其 中 , x = vec(X),d = vec(D). 
这 样 做 同时 获得 了 效率 . 为 说 明 这 点 , 假定 B,C e R 是 对 称 正定 的 、 如 果 把 
A=BoOC 看 作 一 般 和 矩阵 , 进行 分 解 以 求 x; 则 由 于 BoC em, MRLE 
为 O(n9) 个 flop. 另 一 方面 , 如 按 下 面 方法 求解 : 

(1) 计算 Cholesky 分 解 B= GGT # C= HH"; 

(2) 利用 G A BZ =D" fih Z; 

(35289 HA CX =Z" Mu X; 

(4) z = vec(X). 
WW O(n) 个 flop. 注意 到 

BeC=GG' 89 HH" = (G 8 H)(G 8 H)” 


是 B@C 的 Cholesky 分 解 , KERAPA T =A BRIN Kronecker 积 仍 是 下 三 
角形 矩阵 . 因此 上 述 四 步 求解 方法 是 应 用 于 Be C 的 利用 结构 的 Cholesky 法 . 

有 必要 指出 , 如 果 B 是 稀疏 的 , 则 在 块 层次 上 Bec HAHA NMRA. 例 
in, 如 果 B 是 三 对 角 的 , 则 Bec 是 分 块 三 对 角 的 . 


习 题 


4.5.1 TEMA RRA A EJ AERE PEN. 

4.5.2 ”验证 由 (4.5.6) 可 推出 (4.5.7) 和 (4.5.8). 

4.5.3 ” 设 将 分 块 循环 约 化 法 应 用 于 (4.5.12) 所 给 定 的 D, 且 有 F = —Iq, 则 产生 的 矩 
阵 FO 和 D) 具有 什么 样 的 带 状 结构 ? 

4.5.4 ”假设 4 cR” 是 非 奇 异 的 ， 且 线性 方程 组 Az = 已 和 Ay = g A, 其 中 
b,g = R" 给 定 , 试 在 O(n) 个 flop 内 解 方程 组 


Le eds] o] 
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其 中 a,b ERA hcm" Be, 系数 矩阵 A, 非 奇异 . 寻找 一 个 快速 解法 是 否 成 功 是 一 个 复 
杂 的 问题 , 它 取 决 于 4 和 A, 的 条 件数 以 及 其 他 因素 . 

4.5.5 ”证 明 (4.5.16)~+(4.5.19). 

4.5.6 ”说 明 如 何 由 B A C 的 SVD 分 解构 造 Bec 的 SVD 分 解 . 

4.5.7 WR A, BAC WARE, 则 可 以 证 明 (A8 B)8C = AS (B C), FÉ 
我 们 可 以 只 用 4 @ B @ C 代表 这 个 矩阵 . 说 明 当 A, B C 均 对 称 正定 矩阵 时 , 如 何 求解 
(A4®B®C)zr=d. 
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4.6 Vandermonde 方程 组 和 FFT 
假定 z(0:n) e R+, 形 如 


1 1 1 

io Ti Cn 
V -V(xo.-,24)— : 

TO Tr soe Tn 


WERE V c RC-Dx(*0 被 称 作 Vandermonde 42M. 本 节 我 们 讨论 如 何在 O(n?) 
个 flop 内 求解 方程 组 VIa = 了 = f(0:n) M Vz — b — b(0: n). 同时 简单 介绍 了 
离散 的 Fourier 变换 . 这 种 特殊 且 很 重要 的 Vandermonde 方程 组 具有 递归 的 块 结构 
并 且 可 在 O(nlogn) 个 flop 内 解 出 . 本 节 中 的 向 量 和 纸 阵 的 下 标 均 从 0 开始 标记 . 


461 多项式 插 值 : Via=f 


Vandermonde 方程 组 出 现在 许多 近似 和 插值 问题 中 .实际 上 , 快速 求 得 Van- 
dermonde 方程 组 的 关键 是 要 认识 到 解 Vio = 了 等 价 于 多 项 式 插值 . 这 是 因为 , 如 
RV'a—f HA 


n . 
=Y aj, (4.6.1) 
j=0 


QF i=0:n, A pla) = f 

如 果 c, 是 互 异 的 , 则 可 对 插值 点 (zo, foh, (zw fn) 构造 一 个 唯一 的 n 阶 多 
项 式 . 因此 只 要 r BARN, 则 Y 是 非 奇 异 的 . 在 整个 这 一 节 我 们 都 假定 此 条 件 
成 立 . 

计算 (4.6.1) 中 oj 的 第 一 步 是 计算 插值 多 项 式 p 的 牛顿 表达 式 : 


k—1 
p(x) = ya (He — ti ) (4.6.2) 


i=0 
常数 ck 是 均 差 , 可 按 下 面 步骤 来 确定 : 
c(0: n) = f(0 :n) 
fork —0:n—1 
fori=n:-1:k+1 (4.6.3) 
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Ci = (ci — ci-i)/ (ri — vi-k-1) 

end 

end 
参见 Conte and de Boor (1980, 第 2 章 ). 

下 一 步 任 务 是 由 c(0 : n) 来 产生 a(0: n), HRI 
Pr(X) = cn - 
for k=n—1:—1:0 

Pk(T) = ex + (£ — TE)PE 1(7) 
end 


来 定义 多 项 式 pn,(z),… ,po(z), 注意 到 po(z) = p(z). BH 


px(z) = af + a(? x Tee alk) pn 一 天， 


ABE pr = cr + (2 — zx)piai Fo WARS, 得 到 下 面 求 系数 of") 的 递 推 
KRA: 


a” 一 cn 
fork=n—1:-1:0 
ay” = ck — eax; 


fori=k+1:n—-1 
al?) = a9 — aua? 
end 
alt) = get) 
end 
于 是 , 系数 a, = aD 可 按 下 面 步骤 求 得 
a(0: n) = e(0: n) 
fork=n—1:-1:0 
fori—-k:n-1 
Qi = Qj — XkÓ441 (4.6.4) 
end 
end 
将 此 迭代 法 与 (4.6.3) 合并 得 到 下 面 的 算法 . 
算法 4.6.1 给 定 z(0 : n) eR", RARER, f 二 f(0:n) eR, 本 算法 
求 出 Vandermonde 方程 组 V(xz0,… ,zn)Ta = f fif a — a(0 : n), 并 将 其 存储 在 
fv. 
for k —-0:n—1 
fori=n:-1:k+1 
FO = (FO) - FE -1)/(@@ ~ a — k — 1) 
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end 
end 
fork -n—1:-1:0 
fori=k:n-1 
FO = FG) — fü + 1)z(k) 
end 
end 
本 算法 中 需 5n?/2 个 flop. 
例 4.6.1 假设 用 算法 4.6.1 来 求解 


T 
11 1 ao 10 
13 9 27 ag | | 58 |’ 
1 4 16 64 a3 112 


第 一 次 循环 计算 得 到 p(z) 的 牛顿 形式 

p(x) = 10 + 16(z — 1) + 8(z — 1)(z — 2) + (x — 1)(z — 2)(z — 3), 
第 二 次 大 循环 由 [10 16 8 1T 解 得 ao=[4 3 2 1JT. 
4.6.2 HAR Vz =b 的 方程 组 


现在 考虑 方程 组 Vz = b. 为 导出 解 此 问题 的 一 个 高 效 算法 , 我 们 用 矩阵 -向 量 
语言 来 刻画 算法 4.6.1. E XU FOR ABRE Li (o) < ROD) 如 下 : 


L(a) = 
并 且 定 义 对 角 和 矩阵 Dr 为 
D, = diag(1,--- ,1, Tk41 — 29,777 ,Tn — Zn—k-1)- 
一 一 


k+1 
由 这 些 定义 和 (4.6.3) 容易 推 知 , 如 f= f(0:n) Me = c(0: m) 是 均 差 向 量 , N 
c= UT f, 其 中 U 是 上 三 角形 矩阵 , 其 定义 为 
UT = D;L,a(1)--- Dg *£o(1)- 


类 似 地 , 由 (4.6.4) 有 


a= L'e, 
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其 中 工 是 单位 下 三 角形 矩阵 , 其 定义 为 
LY 一 Lo(xo)* t L, a(z4 3)1. 
于 是 , a-L'UTf, HVT = LUUT. 换 句 话说 , 算法 461 无 形 中 利用 了 VO 
的 UL 分 解 来 求解 VTa = f. 
因此 , 方程 组 Vz = b 的 解 为 
z=V~'b=U(Lb) 
-(Do(1) Dj! --- Ln-1(1)" D: 1) oci (zi) +» Lo(zo)b). 


通过 以 上 观察 得 出 下 面 的 算法 . 
算法 4.6.2 ”给 定 2(0:n) ERT, RARER b —b(0:n) ER H, 本 算法 
以 Vandermonde 方程 组 V(zo,… ,z4)z = b OM z= z(0: n) RAK b. 
fork 20:n—1 
fori-n:-1:k41 
bli) = b(i) — x(k)b(i — 1) 
end 
end 
fork 2n-—1:-1:0 
fori=k+1:2n 
b(i) = &(i)/(a() -zli -k — 1) 


end 
fori=k:n-1 
bli) = b(i) — b(i + 1) 
end 
end 
本 算法 需 5n?/2 个 flop. 
例 4.6.2 ”假设 用 算法 4.6.2 来 解 
11 1 1 zo 0 
1 2 3 4 za |_| -1 
14 9 16 z| | 3’ 
1 8 27 64 z3 35 
第 一 次 大 循环 计算 向 量 
0 0 
LALALA TEI = | 7) |, 
3 6 
35 6 


第 二 次 大 循环 则 计算 
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0 3 
Li Dj L0) Di Z20) D! | -| =| 一 
35 1 


4.6.3 ”稳定 性 


Bjorck and Pereyra (1970) 对 算法 4.6.1 和 算法 4.6.2 作 了 讨论 和 分 析 . 他 们 的 
结论 是 这 两 个 算法 经 常 得 到 令 人 吃惊 的 准确 解 , 即使 病态 也 是 如 此 . 他 们 指出 
当 插 值 点 集 上 增加 一 个 新 插值 对 (meis faa) 时 , 如 何 修正 已 有 解 . 同时 还 给 出 了 
如 何 求解 汇合 型 Vandermonde 方程 组 , 它 涉及 形 如 


1 1 0 1 
To Ti 1 T3 
V = V (£0, £1, £2, £3) = 2 2 2 2 2 
To Ti “72 T3 
rà cz] 3e cj 


的 矩阵 , 
4.6.4 ”快速 Fourier 变换 
n 阶 的 高 散 Fourier 变换 阵 (DFT) 定义 为 
= (fir) fix = wik, 
其 中 


Wn = exp(—2ni/n) = cos(2x/n) — i- sin(2x/n). 


由 于 un = 1, KBR o, 是 1 的 n 次 方 根 . 当 n 一 4 时 , w4 = i, HA 


1 1 1 1 1 1 1 1 
1 wa wi wj 1 -i -1 i 

F, = = 
4 1 w wt wf 1-1 1 -i 
1 wj we w$ 1 i -1 -i 


如 果 ax eC", WH DFT 为 向 量 Fx. DFT 在 应 用 数学 和 工程 中 扮演 着 极其 重要 
的 角色 . 

如 果 n 有 多 个 因子 , 那么 执行 DFT 运算 可 能 要 比 常规 的 矩阵 与 向 量 相 科 所 
需 的 O(n2) 个 op 要 少 得 多 . 为 说 明 这 一 点 我 们 令 n = 2', 然后 给 出 2 基数 快速 
Fourier 变换 (FFT). 首先 看 一 下 偶数 阶 DFT RIPE, 对 列 做 置换 , 使 下 标 为 偶数 的 
列 都 置换 到 矩阵 的 前 部 . 34 n = 8 时 , 注意 到 we? = whimods, 我 们 有 如 下 形式 : 


1 1 1 1 1 1 1 1 
1 w uw? w wt w® w w* 
1 w wt w 1 w? wt wô 
P 1 wa we w wt w w? ws w = we. 
1 w^ 1 wt 1 w 1 wat’ 
1 w w w? wt w we w’ 
1 we wt w? 1 we wt w? 
1 w' we w^ wt wa w w 
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WRE FRA c=(0 2 4 6 1 3 5 7,0 


Fe(:,c) = 


1 
1 
1 
1 
i 
H 
1 
1 


和 矩阵 中 的 线 有 助 于 将 FF, (0 : c) 想象 成 一 个 2 x 2 的 分 块 矩阵 , 每 块 大 小 为 4x4. 注 
意 到 u? = wi 二 wa, 故 


F f2,F 
Fa(:,€) = | 4 4 | ; 
F4 | -R4F4 
其 中 
1 0 0 Q 
0 Ug 0 0 
m=) 0 we 0 
0 0 0 ws 
TH, MR c 是 一 个 8 维 向 量 , 则 
Fa n z(0 12: 7) 
= F M = 
Fax (:, e)x(c) an | | z(1:2:7) | 
_ I f24 Faz(0 :2: 7) 
| Faz(1:2:7) | 


这 样 , 通过 简单 数 乘 可 由 4 点 的 DFT 运算 yp = Fsaz(0:2:7) Hl yg = Fax(1:2: 
7) 得 到 8 点 的 DFT 运算 y = Fea: 


y(0:3)=yr+d.*yYyg, v(4:7) yr — d-* yp. 
这 里 


d= , 


H“ 表示 向 量 相 乘 . 一 般 地 , W n = 2m, JU] y — Fnz 由 
y(0:m-1)=yr+d.*yg, y(m:n—1)=yr-d.*yp, 
给 出 , 其 中 
d-—[l,w,:,97 7, yp =Fmz(0:2:n-1), Yg = Fgaz(1:2:n- 1) 
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对 于 = 2°, 可 以 循环 执行 上 述 步骤 直到 n= 1, 此 时 Fie = a: 
function y = FFT(z, n) 
if n=1 
y= 
else 
m = n/2;w = e ?ri/n 


yr = FFT(z(0:2:n),m); yg = FFT(z(1:2: n), m) 


d= [1,w, ,u"T71]T;z = d. * yp 
+z 
y= | YT 
yT—2 
end 


这 是 众多 Fourier 变换 算法 的 一 种 . 它 有 一 种 非 循 环 的 实现 方式 , 可 用 Fn 的 分 解 
来 描述 . 实际 上 , 可 证 明 Fn = 4:… A Pn, 其 中 

A=B, L=2%, r=n/L, 
H 


Ir — f) L/2-1 


BL = | Nrj = diag(l, wr, +> ,WL ). 


Ip -ALn 
FARE P, 称 为 反 位 置换 (bit reversal permutation), 我 们 不 再 详 述 它 . (请 回想 4.5.5 
节 中 关于 Kronecker £4 “g” 的 定义 ). 在 这 样 的 分 解 下 , y = Fux 可 按 下 法 计算 出 : 
c= Par 
for g=1:t 
L=% r=n/L (4.6.5) 
z = (I, ® Br) 
end 
矩阵 A, = (I, @ Br) 的 每 行 只 有 两 个 非 零 元 素 , 这 使 得 DFT 可 能 在 O(nlogn) 个 
flop 内 完成 . 实际 上 仔细 的 实现 仅 需 5n logy n 个 flop. 
DFT 矩阵 有 如 下 性 质 : | 


1- 
Fil = -Fa = LE. (4.6.6) 


Bp F, MPR ROOXROR9R, 然后 除 以 ”得 到 的 , 快速 的 DFT RÉ, 只 要 
将 (向 前 ) 的 FET 中 出 现 的 所 有 根 1 SEER BN, 然后 除 以 n 即 可 得 到 . 

DFT 的 价值 在 于 通过 将 问题 变换 到 Fourier 空间 上 (通过 FS), 使 许多 难 解 的 
问题 简化 .然后 再 将 Fourier 空间 上 的 解 变 换 到 不 坐标 系 中 (通过 FLU) 即 可 得 
到 解 . 


3 E 
4.6.1. IHUR V =V (zo, ,zn), 则 
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det(V) = Il (zi 一 xj). 


n2i»j20 


4.6.2  (Cautschi 1975a) Æ n = 1 时 , 证 明 下 面 不 等 式 : 


n 
一 1 i 


当 复 平面 上 所 有 的 zi 共 线 时 等 式 成 立 . 

4.6.3 ”假设 由 = [w u2,--- wr ^], Hn = 2*, 用 冒号 表示 法 ,将 [Lowe we, 
wr?) 表示 成 w 的 子 向 量 , 其 中 = 23,9 = 1:8. 

4.6.4 ”证 明 (4.6.6). 

4.6.5 ”将 (465) 中 的 z = (19 BL) 展开 成 两 重 循环 , 并 算出 所 需 的 flop 数 , (忽略 
v= Phe 之 细节 ). 

4.6.6 ”假设 n = 3m, 将 

G=[Fa(:,0:3:n—-1) Fr(l:3:n-1) Fí(4,2:3:n—1) 


作为 3 x 3 分 块 矩 阵 来 考查 ,找到 各 抉 已 。 的 加 权 关 系 . 根据 你 找到 的 结果 ， 写 一 个 类 似 于 文 
中 2 基数 FFT 变换 的 3 基数 FFT 变换 . 


本 节 注 释 与 参考 文献 
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本 节 给 出 的 基本 算法 可 以 推广 到 汇合 型 Vandermonde 方程 组 、 分 块 Vandermonde 方程 
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G. Galimberti and V. Pereyra (1970). “Numerical Differentiation and the Solution of Mul- 
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D. Galvetti and L. Reichel (1992). “A Chebychev-Vandermonde Solver”, Lin. Alg. and Its 
Applic. 172, 219-229. 
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H. Lu (1996). “Solution of Vandermonde-like Systems and Confluent Vandermonde-like 
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XT PFT 的 文献 , 分 布 广 而 且 分 散 . 综述 利用 Kronecker 积 的 领域 FFT 可 参见 : 

C. F. Van Loan (1992), Computational Frameworks for the Fast Fourier Transform, SIAM 
Publications, Philadelphia, PA. 
本 书 的 观点 是 不 同 的 FFT 对 应 DET SANA, 这 些 分 解 因子 每 行 含有 极 少数 的 

非 零 元 , 故 又 称 稀疏 分 解 . 


4.7 Toeplitz 及 相关 方程 组 


每 条 对 角 线 上 的 元 素 都 相同 的 矩阵 在 许多 应 用 中 出 现 , 这 样 的 矩阵 称 为 Toeplitz 
矩阵 . 正式 地 说 , 如 Te R"*x", 存在 标量 ront ,70,… ,7n-1, 对 所 有 i 和 j 满 
Æ aij =7j-is 则 称 T A Toeplitz HEH. TÆ, 

To rı 72 T3 
mr To 
T_2 T_-1 To Ti 


coc 
O A CS e 
wr wv 
Qe NT OD 


T.3 T-2 T-—i1 TO 


是 一 个 Toeplitz 矩阵 . 
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Toeplitz 矩阵 属于 一 个 更 大 的 转 对 称 (persymmetric)? 矩阵 类 . 如 果 B e R” 
是 关于 东北 -西南 对 角 线 对 称 的 , 即 对 所 有 i 和) 有 bij = bnjtin-i 则 称 它 是 转 
对 称 的 . 这 个 定义 等 价 于 要 求 B = EB™E, Kr E = [ese] = In(,n: -1:1) 
是 n xn 的 交换 矩阵 , 例如 


E= 


一 cocco 
re OO 
OO omŘ. o 
O o e 


Q 0 

容易 验证 : (a) Toeplitz 是 转 对 称 的 . (b) 非 奇 异 的 Toeplitz 矩阵 的 逆 也 是 转 对 称 的 . 
本 节 中 我 们 将 说 明 如 何 细致 地 利用 (b) 使 能 在 Oln?) 个 flop 内 求解 Toeplitz 方程 
组 . 我 们 主要 讨论 T 是 对 称 且 正定 的 重要 情形 .对 于 非 对 称 的 Toeplitz 方程 组 及 
它 与 循环 矩阵 的 联系 , 还 有 离散 的 Fourier 变换 我 们 只 做 简单 讨论 

4.7.1 ”三 个 问题 


假定 有 标量 nuo ,rn 使 得 对 于 = 1 :n, 矩阵 


1 Tr e Tk-2 Tk~1 
Ti 1 Tk—2 
Tk = 
Tk—2 "s E rı 
Tk-i Tk-2 cc TA 1 


是 正定 的 (不 失 一 般 性 , 这 里 的 对 角 元 素 是 已 单位 化 的 ). 本 节 介 绍 三 个 算法 : 
e 求解 Yule-Walker 问题 Try = 一 [ri „TnT 的 Durbin 算法 
e 求解 一 般 问 题 Tne = b 的 Levinson 算法 
e 计算 B—T.! 的 Trend 算法 
为 推出 这 些 算法 我 们 用 E 表示 x 的 交换 矩阵 , 即 By = DG ki -1:1). 
4.7.2 ”求解 Yule-Walker 方程 


我 们 先 给 出 求解 Yule-Walker 方程 的 Durbin 算法 ， 该 方程 与 一 些 线性 预测 问 
题 密切 相关 . 假定 满足 1 < k < n 一 1, 且 我 们 已 求解 了 上 阶 Yale Walker 方程 
组 Try = —r = -(ru ,7k)T. 下 面 给 出 如 何在 O(k) 个 flop 之 内 求解 (k 十 1) Wt 


Yule-Walker 方程 组 : 
Tk Egr z E T 
rE, 1 a i Tk 41 i 


(D persymmetric 和 symmetric 几乎 是 一 样 的 东西 ， 只 不 过 一 个 是 关于 从 左上 角 到 左下 角 的 对 角 线 
对 称 ， 另 一 个 是 关于 从 右上 角 到 左下 角 的 对 角 线 对 称 ， 这 里 译 成 “ 转 对 称 "， 意思 是 将 矩阵 旋转 90 
度 就 是 原来 的 对 称 . 一 一 译 者 注 
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首先 应 注意 
z =T; (-r - oEyr) = y — oT, Exe, 
Q = —Tkgi 一 r™ Exz. 
由 于 Ti! 是 转 对 称 的 , TE. = ET, 于 是 
之 一 2 一 aE,T;,'r =y+ak xy. 
将 此 代入 上 面 的 a 表达 式 , 有 
o 一 -rk — T7 Ex(y + aEry) = —(rep 7  Exy)/(1 + 77 y). 
上 式 中 的 分 母 是 大 于 零 的 , 这 是 因为 Ti 是 正定 的 , WA 


I Ey T Tk Egr I Erxy | Tk 0 
F 1 | EH 1 ie 1 |-| 0 NM 
这 就 完成 了 Durbin(1960) 给 出 的 算法 的 第 k 步 描述 . 对 k= 1: n 求解 Yule-Walker 
方程 组 
Try = —r®) = Ir rel", 
就 得 到 如 下 算法 : 
yO 二 一 71 
fork 21:n-—1 
fy = 1-4 [r(9]Ty (9 
Qk = (re c r9" Ey 9)/ Br (4.7.1) 
zE) =y) 十 on Ey? 


(k) 
z 

Qk 
end 


本 算法 需 3n? 个 flop 来 产生 y =y. 如 果 充分 利用 一 些 上 面 的 表达 式 , 可 以 进 一 
步 减少 工作 量 : 
fy =1+ [9] 


(k—1 (k—1) 
一 工 十 [e 677 ra] yD + on Ek-iy 
Ok-—1 


= (1+ [E-D] Tyd) + a i (p PTT E, iy 7? + re) 
= ki Fox i7 Bkx-10k-1) 
=(1- OR 1) Bk-1- 
应 用 这 个 递 推 式 得 到 下 面 的 算法 . 
算法 4.7.1 (Durbin) 给 定 实数 l= To,T1:'*^ Tn 使 得 T= (ri 让) € R'*^ 
是 正定 的 , 本 算法 计算 满足 Ty = 一 (ri,… ,Tn) My ER. 
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y(1) = —r(1); 8 = 1;a = -r(1) 

for k -1:n—1 
B= (1— o?)8 
a= —(r(k 1)  r(k: —1:1)Ty(1 : k))/8 
z(1: k) =y(1:k)+ay(k: —1:1) 


(aene | m 


end 
本 算法 需 2n? 个 flop. 为 清晰 起 见 , 我 们 用 了 一 个 辅助 向 量 z, 实际 上 它 可 以 省 去 . 
Bj 4.7.1 假定 我 们 用 算法 4.7.1 RM Yule Walker 方程 组 


1 0.5 0.2 uu 0.5 
0.5 1 0.5 yz | = 一 | 0.2 
0.2 05 1 V3 0.1 
AARRE, 得 到 
—8/15 
— 1/15, = 3/4 = . 
oO / B / |) y | 1/15 | 


然后 计算 
B = (1 — o?)8 = 56/75 
a = —(r3 + r2yı  r192)/8 = —1/28 
zı = yı + aye = —225/420 
Z9 = ya tay. = —36/420 


42.3) RAMA y = [-75, 12, —5]7/140. 
4.7.3 “一般 右 端 向 量 问题 


增加 少许 计算 量 , 可 以 求解 右 端 为 任意 向 量 的 对 称 正定 Toeplitz 方程 组 . 假定 
WE k HERR 1 <k <n, 我 们 已 解 出 方程 组 


Tic =b= (by, ttt sbk)”, (4.7.2) 


aie € 
r` Ex 1 H bk+1 


这 里 > = (rie ,rp)T fa E. 假定 大 BY Yule-Walker 方程 组 Try = -r 的 解 也 已 得 
到 . 从 T&v + pEyr =b HA 


v = T} (b — uE,rT) = æ — UT, Ekr = æ + pEky, 


[i 
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B= big — T Egy 
= bey — TT Epa — purty 


= (bar — rT Exx)/(l+r'y). 


这 样 , 我 们 可 在 O(k) 个 flop ASER (4.7.2) 到 (4.7.3) 的 转换 . 
总 的 来 说 , 我 们 可 以 通过 对 天 = 1: n 并 行 地 求解 Tre — B9 = (人 
和 Ty = —r® = (rrpjT 来 解 出 Tae = b. 这 就 是 下 述 算法 的 要 点 . 
算法 4.7.2 (Levinson) #2 b c R” 和 实数 1 = rori Tn RT = 
(ri-j) CR" 是 正定 的 , 本 算法 计算 满足 Tz =b HH we R". 
y(1) = —r(1)j2(1) = 0(1);B =1:4=-r() 
fork =1:n-1 
B= (1—07)G; p = (b(k-- 1) -r(1: k)Te(k :—1 : 1))/8 
v(1: k) — z(1: k) + pylk: -1:1) 


et d= | 0 | 
E 
ifk<n-1 


a=(-r(k+1)+r(1:k)Ty(k: ~-1:1))/6 
2(i:k)=y(1:k)+ay(k:—1:1) 


aran= | | 


end 
end 
本 算法 需 4n? 个 flop. 向 量 z 和 v 是 为 使 算法 清晰 而 引入 的 , 实际 编程 时 可 避免 . 
例 4.7.2 假设 要 用 以 上 算法 求解 对 称 正定 Toeplitz 方程 组 


1 05 0.2 qi 4 
05 1 0.5 Z2 | 一 一 | 一 
0.2 0.5 1 Z3 3 


循环 执行 完 后 , 得 到 


a=1/15, 8 =3/4, s epi 


然后 计算 
B = (1—o?)8 = 56/75, p= (0 一 riza — raz1)/8 = 285/56, 
v, = 21 + ye = 355/56, v2 = 23 + py = —376/56 

42.3) RAMA: w = (355, —376, 285)7/56. 
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4.7.4 3k 


对 称 正 定 的 Toeplitz 矩阵 T. 的 最 令 人 吃惊 的 性 质 之 一 是 它 的 逆 可 在 O(n?) 
个 flop 内 算出 . 为 推出 这 个 求解 算法 , 将 了 2， 作 如 下 划分 : 


-1 
A Er B v 
Tj = = 4.7.4 
| r'E i| | | vT y | ( 


其 中 A =7,-1,E = En 1,7 = (ri ` Tai). 由 等 式 


A Er v| | 0 
r'E 1 4| [1 
可 知 Av = —yEr = —yE(ri,:-: ,T4 1)? My —1— rT Ev. WR y Æ (n — 1) Br 
Yule-Walker 方程 组 Ay = -> 的 解 ， 则 由 这 些 表 达 式 可 推出 
y=1/(1+r"y), v=~yEy. 
这 样 就 得 到 了 Ty), 的 最 后 一 行 和 最 后 一 列 . 
剩 下 的 工作 是 建立 求解 (4.7.4) PEE B 的 元 素 的 计算 公式 . AA AB 
Erv? = I, 4, BA 
vv" 


B = A` - (A lBr)vT = A^ + 7 


由 于 A= Ta 是 非 奇异 的 Teoplitz 矩阵 , HERR. 于 是 


_ ViVi 
bu = (Ay + 4 
Y 

U4Uj 

= (A )n~jn-i + M 

n—j,n—i y 

Un—jUn—i 十 UjUj 

7Y 了 


1 
= bn—j,n—i + 4 一 Un—jUn-i): (4.7.5) 


= bn—jn-i — 


这 个 公式 说 明 尽 管 B 不 是 转 对 称 的 , 但 我 们 可 以 通过 所 求 by 的 关于 东北 -西南 轴 
的 反射 点 来 计算 它 . 连同 AW) 是 转 对 称 的 事实 可 使 我 们 “从 外 到 里 ”来 确定 B. 

由 于 描绘 运算 的 次 序 相当 麻烦 , 我 们 以 图 示 的 形式 预览 一 下 前 面 提出 的 方案 . 
为 此 , 假定 T; 的 最 后 一 行 和 最 后 一 列 已 知 


T, = 


™ ER BG fF 8S S 
vc OG e fF B S 
os 8 gp g e g 
wre A È E&E & 
ae og £ ge RS 
ewe Gom m yr r 
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RE u 和 上 分 别 代表 未 知 和 已 知 元 素 ,m” — 6. 交替 利用 T 的 转 对 称 性 和 递 推 式 ， 
(4.7.5), ARH To), 的 (n — 1) x (n 2 1) 的 顺序 子 块 B 如 下 : 


kk kk k k k k k k k k 
k u vu vu uk k uu vu k k 
转 对 称 |k u wu wu wk (4.7.5) k u u u kk 
k u uuuk k u u ukk 
k u uuuk k k k k kk 
k Ek k k kk kkk k k k 
kk k k k k kkk k kk 
k k kK k k k k Ek k k kk 
转 对 称 | k ku u k k| 675 | k k u kk k 
一 一 一 一 一 一 -一 一 一 
k k uu k k kk k k kk 
kk kk kk k k k k k k 
kk k k k k k k k k k k 
k k k k k k 
k kk k kk 
转 对 称 | k k kk k k 
k k k k k RL 
k k k k k k 
k k k k k k 
当然 , 当 求 解 一 个 既 对 称 又 转 对 称 的 矩阵 (如 Trt) 时 , RRR AR RR 
Æ” 即 可 . 即 
. X X X x X 
X X X X (n — 6). 
x x 


由 以 上 分 析 , 可 以 给 出 完整 的 算法 . 

算法 4.7.3 (Trench) ”给 定 实数 1 = ro ri, ,Tn 使 得 了 = (ni 5) € R^ 
是 对 称 正定 的 , 本 算法 计算 BHT)’, 只 计算 满足 i<j 和 i 二 jn 十 1 的 bij. 

用 算法 4.7.1 求解 Tory = 一 (71 i2). 

y= 1/+r(l:n—1Ty(1 :n—1)) 

v(1:n—1) = yy(n—1:—1:1) 

B(1,1)=7 

B(1,2:n) 2 v(n—1:-1:1)T 

for i = 2:floor((n — 1)/2) - 1 

for j=i:n—-i+l1 
B(i,j) = BG@-1,j —1)+ 
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(v(n  1— j)v(n + 1—i) — v(i — Dv — 1))/7 
end 

end 
本 算法 需 1302/4 个 flop. 

例 4.7.3 假设 用 上 述 算 法 求 对 称 正定 Toeplitz 4 

1 05 02 

05 1 05 | 
02 05 1 


&jiÉ4pBE B, 则 我 们 得 到 y = 75/56, br = 75/56, big = —5/7, b13 = 5/56, b22 = 
12/7. 


4.7.5 ”稳定 性 问题 


Cybenko (1978) 对 上 述 诸 算 法 做 了 误差 分 析 , 我 们 将 简要 介绍 他 的 结果 . 
关键 的 量 是 (4.7.1) 中 的 ou. 精确 运算 时 , 它 应 满足 |ak| < 1, 且 可 被 用 来 对 
I7 RA: 


13 1+ loi 


1 1 
max | Ta _ a) la - a;) | < Tz « JI Tia] (4.7.6) 
j=l jel jt 
而 且 , 只 要 所 有 的 o. 都 非 负 ,Yule-Walker 方程 组 Try = —r(1:n) 之 解 就 满足 : 
(ull: = (Ita + a) ~1. (4.7.7) 
k=1 


如 果 $E Yule-Walker 方程 的 Durbin 算法 之 计算 解 , 则 rp = Trè +r 可 被 
限界 如 下 : 
Irol = u T [DG + 1x; 


k=1 
其 中 ay 是 ax 的 计算 解 . 通过 比较 , 因为 每 个 r) 都 是 以 1 为 界 , 故 roll s uyli 
其 中 ro 是 用 Cholesky 法 求 得 的 计算 解 的 剩余 . 注意 , 如 (4.7.7) 成 立 , 则 这 两 个 剩 
余 的 大 小 差不多 . 实际 的 数据 表明 即使 一 部 分 ax 小 于 零 时 的 情形 也 是 如 此 . 对 于 
Levinson 算法 的 数值 特性 我 们 可 得 到 类 似 的 结论 . 
至 于 Trench 算法 , 可 以 证 明 TL! 的 计算 逆 B 满足 
Irz} - Bi | 
IT. s su 1 — lâl 


根据 (4.7.7) 可 以 看 出 右 端 是 uT 的 近似 上 界 , 而 TH 之 大 小 大 约 是 用 
Cholesky 法 计算 T; 时 的 相对 误差 . 
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4.7.6 ” 非 对 称 的 情况 


对 非 对 称 情况 可 推出 类 似 的 递 推 算法 . 假定 已 给 数 n, raa 和 pi,… ipsas 
要 求解 形 如 


1 ri T2 Ts Ta Ti bi 
pol n T2 rs LQ bz 
p pi 1 mn rm z3 | = | bg (n = 5) 
ps p p ln T4 ba 
Pa ps P2 D 1 T5 bs 
的 线性 方程 组 Tz =b. 


下 面 的 推导 过 程 要 求 工 的 顺序 主子 阵 Tk = 工 (1 : ,1 : k) k= 1:n 是 非 奇异 
的 . 使 用 与 上 相同 的 记号 , 可 以 证 明 : 如 果 已 有 x 上 方程 组 的 解 : 


Thy = -f = —[ri T2 A rk], 
Tkw = -p= -|p po s mW (4.7.8) 
Tic = b = [by bo tt baT, 


则 可 在 O(k) 个 flop 内 得 到 下 面 方程 组 的 解 : 
T, Egr T Zz _ T 
p'E, 1 a | Tk+1 
Tk Egr u p 
二 一 4.7.9 
ES 1 IM Pa ers) 


EH "| Eee 


这 意味 着 理论 上 能 在 O(n?) 个 flop 内 求解 一 个 非 对 称 Toeplitz 方程 组 . 然而 , 除非 
ABE Th = T(1:k,1: k) 有 很 好 的 条 件数 , 否则 算法 的 稳定 性 得 不 到 保证 . 
4.7.7 ”循环 方程 组 
有 一 类 非常 重要 的 Toeplitz MERE. 以 下 是 一 个 例子 : 
Ug Va v3 V2 UI 
Uy Ug UVa V3 V2 
Civ) = | v vy vo v4 "s 
Ug Ug Ui Vo U4 


Ug Ug VQ Ui UO 


注意 到 循环 矩阵 的 每 一 列 都 是 将 其 前 一 列 向 下 移动 一 个 位 置 得 到 的 ， 如 果 定义 下 
BERRA 
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Sn = (n = 5), 


o oOo fF © 
O o m. O o 
or Oo aa oo 
o cc o 
[- >O oor 


0 1.0 
E v= [vwo vi Uni]; W C(w) = [v, Snv, S? v, oa. S27 ly. 
循环 矩阵 、Toeplitz 矩阵 和 DFT 之 间 有 很 重要 的 联系 . 首先 , 可 以 证 明 


C(v) = Fy" diag(Fnv)Fn- i (4.7.10) 
这 意味 着 形 如 y = C(v)e 的 积 能 够 以 “FFT 速度 ”求解 
和 = Fz, 
v= Fv, 
z= 0. xT, 
y= Fitz 


换 句 话说 , 三 次 DFT XESERI— US EEG URE MES —T T ERA 
积 , 这 种 形式 的 积 称 为 卷 积 , 它 遍 布 于 信号 处 理 及 其 他 领域 . 

Toeplitz 矩阵 与 向 量 的 乘积 也 可 快速 计算 出 . 关键 思想 是 任何 Toeplitz 矩阵 都 
可 被 嵌入 到 一 个 循环 矩阵 中 . 例如 


5 2 7 
T=;4 5 2], 


9 4 5 


的 顺序 3 x 3 THERE. 
一 般 地 , 如 工 = (t) 是 n x n 的 Toeplitz 矩阵 , WT = Cl: n,1:n), 其 中 
C c ROn-UxCn-0 是 循环 矩阵 , 且 
T(1:n,1) | 


C(,1)- | 
T(l,n:-1:2)T 
注意 到 , WE y = Ca B z(n--1:2n— 1) 2 0, M y(1: 0) — Tz(l : n), 这 说 明 
Toeplitz 向 量 乘积 也 能 以 “FFT 速度 ” 计算 出 . 
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习 题 


4.7.1 ”对 任意 v c R” 定义 向 量 v+ = (v + Env)/2 M v- = (v — Env) /2, 假定 
A € R"x" 是 对 称 且 转 对 称 的 , 证 明 如 果 hz = 已 则 Az = b, 和 As = b. 
47.2 UcR"*" 是 单位 上 三 角形 矩阵 是 有 性 质 ; U(1 :大 一 1 有 = Ex-iy*-?, i 
中 y? 由 (4.7.1) 定义 . 证 明 
UTTU = diag(1, fA, tta Ba -1). 
4.7.3 ”假设 ze R" 且 SeR"x” PEREN, 证 明 : 如 果 
X = [z,$z,---, Stz], 


则 XTX Æ Toeplitz 和 矩阵. 

4.7.4 EIE nxn 阶 三 对 角 对 称 正 定 Toeplitz 矩阵 的 LDLT 分 解 , 证 明 当 n 一 oo 时 ， 
dn 和 1%,n_1 收敛 . 

4.7.5 ”证 明 两 个 下 三 角形 Toeplitz 矩阵 的 狐 积 仍 是 Toeplitz FR. 

4.7.6 ”给 出 一 个 算法 求 出 p c R 使 得 


Trt plener + eje) 


是 奇异 的 . BET, = (rui) 是 正定 的 , 其 中 ro — 1. 
4.7.7 ”改写 算法 4.7.2, 要 求 不 使 用 辅助 向 量 ”和 z. 
4.7.8 ”给 出 一 个 计算 ks (Tx), k= 1:n 的 算法 . 
4.7.9 ”假定 Ai, Az, As, As 是 m x m 矩阵 且 
Ag Ar As Aa 
A= Az; Ao Ai A? 
A, As Ao Ai |’ 
A, A3» As Ao 
证 明 存 在 一 个 置换 矩阵 WR TAD = C = (Cu), 其 中 每 个 Ciy 是 4 x 4 循环 矩阵 ， 
4.7.10 ” 对 于 一 个 含有 px p Tik, 每 块 大 小 为 m x m KRM A, WREE 
A-p+i,"’ -, A-1,A0A1,‘+:,Ap-1 © R” 满足 Aij = Ai-j, 即 
Ao Ai Ag As 
A- Ao Ai A 


A= A A-1 Ao Ai , 
A-3 A_2 A-1 Ao 
则 A 是 分 块 Toeplitz RE. 
(a) 证 明 存 在 置换 矩阵 II 满足 
Ty Ti2 c: Fim 
H^ AID = Ta T22 : 
Tm vet. Tmm 


其 中 每 个 Ti 是 pxp 的 Toeplitz 和 矩阵, 每 个 T; 是 由 Ar 的 (人力 元 素 组 成 的 . 
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(b) 如 Ak = A-&, k — 1:p- 1, W Tu 是 什么 样 的 ? 

4.7.11 ”如 给 定 (4.7.8) 的 解 , 那么 如 何 计算 (4.7.9) 的 解 ? 假设 所 涉及 的 所 有 和 矩阵 均 为 
非 奇异 的 . 假设 T 的 所 有 顺序 主子 矩阵 均 为 非 奇 异 的 , 进一步 设计 一 个 快速 算法 求解 非 对 称 
Toeplitz 方程 组 Ta = b. 

4.7.12 “4 H(n: -1 :1:) 是 Toeplitz &BPERJABEE H c R” 称 为 Hankel 矩阵 . 证 
9j: WREX 4 为 

Qij 一 [ cos(k6) cos(j0)40, 


WW A 是 Hankel 矩阵 与 Toeplitz ERA. 提示 : 利用 等 式 cos(u + v) = cos(u) cos(v) — 
sin(u) sin(v). 

4.7.43 W F4,C(v) = diag(Frv) Fn. 

4.7.14 ”证 明 能 够 将 一 个 对 称 Toeplitz PERAR AARRE REF. 

4.7.15 ”考虑 (4.7.1) HH k BY Yule-Walker 方程 组 Ti y™ = —r™ 


Yk1 Tj 
Tx 一 一 , 
Ykk Tk 
证 明 : 如 果 
1 0 0 0 0 
yii 1 0 0 0 
Yy22 yzi 1 0 0 
B= , 

yas 932 Usi 1 0 
Jn—1,n—1  fju—1,n—-2 Yn—-1jn-3 ^^^ Yn-1,1 1 


则 LT ,L™ = diag(1, Bi1,… , i), 其 中 Be =1+rTy™, FE Durbin 算法 可 被 看 作 计 
& T; 的 LDLT 分 解 的 快速 方法 . | 
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York. 
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wood Cliffs. 

Hankel 矩阵 的 反对 角 线 元 素 是 常数 ， 此 类 和 矩阵 出 现在 许多 重要 的 领域 : 
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DFT. Toeplitz 矩阵 以 及 循环 矩阵 之 间 的 相互 关系 可 见 : 

C. F. Van Loan (1992). Computational Frameworks for the Fast Fourier Transform, SIAM 
Publications, Philadelphia, PA. 
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本 章 主 要 讨论 超 定 方程 组 的 最 小 二 乘 解 , 即 || Aw — bl; 的 最 小 化 , 其 中 A € 
R”, 解 这 个 问题 的 最 可 靠 的 办 法 是 通过 正 交 变换 将 4 约 化 为 各 种 典范 型 . Hou- 
seholder 反射 和 Givens 旋转 是 这 种 方法 的 核心 , 在 本 章 的 开始 先 对 这 两 种 重要 的 
变换 进行 讨论 , 5.2 节 将 讨论 如 何 计算 分 解 4 = QR, 其 中 Q REXER, R 是 上 
三 角形 矩阵 . 这 相当 于 寻找 ran(4) 的 一 个 正 交 基 . 我 们 在 5.3 WH, QR 分 解 可 
用 来 求解 满 秩 的 最 小 二 乘 问题 . 给 出 扰动 理论 之 后 , 我 们 将 此 方法 与 法 方程 组 方法 
作 一 比较 . 在 5.4 节 和 5.5 节 中 , 我 们 考虑 那些 处 理 4 是 秩 亏 损 (或 近 于 亏损 ) 的 
困难 情形 的 方法 . 主要 介绍 了 选 列 主 的 QR 分 解 和 SVD 分解. 在 5.6 节 中 , 给 出 提 
高 最 小 二 科 法 计算 解 精度 所 采用 的 几 个 步骤 . 5.7 节 讨论 正方 形 方程 组 和 入 定 方程 
组 . 


预备 知识 
阅读 本 章 需 要 掌握 第 1.3 BA 4.1 节 ~4.3 节 的 知识 . 本 章 各 节 间 的 关系 为 
5.6 节 
5.1 节 一 5.2 节 一 5.3 节 — 5.4 节 ,58 节 
l 
5.738 


补充 文献 包括 Lawson and Hanson(1974), Farebrother(1987), Bjórck(1996). 还 可 
见 Stewart(1973), Hager(1988), Stewart and Sun(1990), Watkins(1991), Gill Murray, 
and Wright(1991), Higham(1996), Trefethen and Bau(1996), Demmel(1996). 本 章 用 
到 的 重要 的 MATLAB 函 数 有 qr, svd, pinv, orth, rank & $MLiS SERE V. 以 下 是 与 
LAPACK 相关 的 例 程 . 


LAPACK: Householder/Givens 工具 


_LARFG 产生 Householder 矩阵 

_LARF Householder RERE PE 

.LARFX 低 维 数 的 Householder SEEE3EAERE 
_LARFB 分 块 Householder (2 MEIe 
_LARFT 计算 I- VTVE 分 块 反射 表示 
_LARTG 产生 平面 旋转 


_LARGV 产生 平面 旋转 的 向 量 
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(#8) 
LAPACK: Householder/Givens 工具 
平面 旋转 作用 于 向 量 对 
旋转 序列 作用 于 和 矩阵 
SHARE i BH 
复 旋 转 (Sk c) RRMA 
复 旋 转 (X s) RA HEX 


LAPACK: 正 交 分 解 
A=QR 
All=QR 

Q( 分 解 型 ) RER ( 实 型 ) 
Q( 分 解 型 ) REE (AW) 
产生 Q( 实 型 ) 

产生 QUIS) 

A= RQ =( 上 三 角 )( 正 交 ) 
A = QL =( 正 交 )( 下 三 角 ) 
A = LQ =( 下 三 角 )( 正 交 ) 
A= RQ, 其 中 A 是 上 梯形 的 


_LARTV 
_LASR 
_CSROT 
CROT 
_CLACGV 


GESVD A-UZVT 
_BDSQR 实 双 对 角 矩 阵 的 SVD 
GEBRD 一 般 矩 阵 的 双 对 角 化 
_ORGBR 产生 正 交 变换 


带 状 矩 阵 的 双 对 角 化 


LAPACK: D- 
WR min||AX 一 Blir RK min||AP X — BllF 
min||AX — Blir 的 SVD fF 

min || AX — B||r 的 完全 正 交 分 解 解 

平衡 一 般 矩 阵 减 小 条 件数 
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由 前 面 的 知识 , 如 果 QTQ=QQT=1,, WW Q e R^*" 是 正 交 的 . 正 交 矩阵 在 最 
小 二 乘法 和 特征 值 计 算 方 面 起 着 重要 作用 . 本 节 我 们 介绍 两 个 关键 的 变换 : House- 
holder 反射 和 Givens 旋转 . 


5.1.1 一 个 2x2 和 矩阵 的 引 例 


为 引出 主题 , 先 分 析 在 n = 2 的 层次 上 的 几何 旋转 和 几何 反射 . 一 个 2 x 2 IE 
TEE Q, 如 果 有 形式 
Q- | cos(0)  sin(0) | 


—sin(8) cos(0) 
则 称 之 为 旋转 变换 . 如 果 y = QT, 则 y 是 通过 将 x 逆 时 针 旋转 0 角度 得 到 的 . 
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一 个 2 x 2 正 交 和 矩阵 Q, 如 果 有 形式 
_ | cos(@)  sin(0) 
Q= | sin(0) — cos(0) | 


则 称 之 为 反射 变换 . WR y = Qz = Qe, Wy 是 将 向 量 x 关于 由 


cos(0/2) 
S= sanf sin(6/2) I 
所 定义 的 直线 作 反 射 得 到 的 . 反射 变换 和 旋转 变换 在 计算 上 很 有 吸引 力 , 因为 它们 
易于 构造 且 可 通过 适当 选取 旋转 角度 和 反射 平面 而 使 向 量 中 产生 新 的 零 元 素 , 
例 5.1.1 Bea = [LV3T, 如 果 令 
Q- cos(—60°)  sin(-60?) | | 1/2 -v3/2 
~ | —sin(—60°) cos(-60) | | V3/2 1⁄2 |’ 
则 Qiaz = [2,0]T. 因此 , —60° 的 旋转 使 工 的 第 二 个 分 量化 为 零 . 如 果 
Q- cos(60°)  sin(60?)) | | V3/2 1/2 
~ | sin(60°) —cos(60) | | 1/2 -v3/2]|' 
则 QTz —[2,0]T. 于 是 , 将 了 对 30? 的 直线 做 反射 也 使 第 二 个 分 量化 为 零 . 
5.1.2 Householder 反射 
X we BR" 是 非 零 向 量 . 形 如 


2 
P-I- QUU (5.1.1) 


BS n x n 矩阵 P BRA Householder 反射 (同义词 : Householder SERE, Householder 变 
换 ). 向 量 v 称 作 Householder HE. 如 果 用 P ARAB z, 就 得 到 向 量 关 于 超 平面 
span{v}+ 的 反射 . 容易 看 出 , Householder MMA MA EACH. 

Householder 反射 与 我 们 在 3.2.1 节 介 绍 的 高 斯 变换 有 两 点 类 似 . 二 者 都 是 单 
位 矩阵 的 秩 1 校正 形式 , 都 可 用 来 将 一 个 向 量 的 某 些 选 定 分 量变 为 零 . 具体 地 说 
假设 给 定 OA z ER”, RH Pa 为 el = In(:,1) 的 一 个 倍数 . 注意 , 由 

2vvT Qutb x 

vty ) z= viv” 


Pe - (1- 


和 Px €span(ei] 意味 着 v € span(z, ei]. 4 v=x + ae, 得 到 
vig =atat OT]; 


vlv = z'z --2oz, + o. 


因此 


ZTE + azr via 
= [1 —2-—— | æ — 20 e. 
Pe ( ala 十 2a21 + a) viv. 


为 了 使 z 的 系数 为 零 , > a = lælz TH 


5.1 Householder 4# 4e Givens 42M 187 


Quut 
viv ) x = F\lz|/2e1. (5.1.2) 


正 是 能 这 样 简单 地 确定 v, 使 得 Householder 反射 非常 有 用 . 
$j 5.1.2 49 z= [3,1,5,1]T, v = [9,1,5, 1]7, W 


T —27 -9 -45 -9 
poro -L -9 53 -5 -l 


v-—ztlzllze: > Pa = (r- 


viv 54] —45 —5 29 —5 
-90 -1 -—5 53 
具有 性 质 Px =(-6,0,0,0]7. 
5.1.3 ”计算 Householder 向 量 
有 许多 确定 Householder 矩阵 即 Householder 向 量 的 重要 细节 . 其 中 之 一 是 关 
于 选择 (5.1.2) Fo 的 符号 . 关系 式 
vi = zi — [Ill 
具有 Pz 是 el 的 一 个 正 倍数 这 一 良好 性 质 . 4 z 接近 el 的 一 个 正 倍 数 时 , 由 于 
会 出 现 严 重 的 相 消 , 因此 这 种 方法 是 危险 的 . 然而 Parlett(1971) S&H A 


i 9 +) 
v=a - lel = zs rf 
在 ma > 0 HR REOR RNR. 


实际 上 , 方便 的 是 将 Householder 向 量规 范 化 使 得 v(1) = 1. 这 就 允许 将 v(2 : n) 
存储 到 ze 已 化 为 零 的 位 置 , 即 z(2 : n), 我 们 将 v(2:n) 称 为 Householder 向 量 的 基 
本 部 分 . 回忆 8 = 2/vTv, HS length(z) 表示 向 量 的 维 数 , 我 们 得 到 下 面 的 算法 . 

算法 5.1.1 (Householder 向 量 ) #2 ce R^, 本 函数 计算 满足 v(1) — 1 4 
vER fe 8 € R, HP 8 44$ P = I, — Gov” AERBEA Pz = zllzel. 

function: [v, 8] = house(x) 

n = length(x) 
c = z(2: n)*a(2:m) 


v= 1 
z(2:m) 


ifo =0 
B=0 
else 
u= fully ro 
if z(1) <0 
v(1)-z(1)-& 
else 
v(i) = —e/(z(1) + u) 
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end 

B = 2v(1)?/(o + v(1)?) 

v = v/v(1) 

end 

本 算法 约 需 3n 个 flop, 计算 得 到 的 Householder 矩阵 在 机 器 精度 内 是 正 交 的 , 这 将 
在 后 面 讨论 . 算法 5.1.1 的 实用 形式 应 预先 对 向 量 x 进行 加 权 运 算 (zw — zx/||z||) 以 
WE LR. 
5.1.4 Householder 矩阵 的 应 用 


将 Householder 反射 作用 于 矩阵 时 ， 利用 其 结构 是 至 关 重 要 的 .如果 A c 
Rm™xn, P = I — fvvT ER™™, 则 
PA = (I - BvvT)A = A— vw", 
其 中 w= 8ATv. 同样 , 如 果 P = I — vv? € R"*", 则 
AP = A(I — BvvT) = A— wv", 
其 中 w = BAv. 这 样 一 个 m x n Householder 修正 由 一 次 矩阵 -向 量 乘法 和 一 次 外 
积 运算 组 成 , CRE 4mn 个 flop. 如 果 认 识 不 到 这 一 点 , 而 把 P SRE ME 
就 会 增加 一 个 数量 级 的 工作 量 . Householder 修正 永远 不 会 出 现 显 式 的 Householder 
FRE. 
上 述 两 种 Householder 修正 中 的 任何 一 种 实现 时 都 可 利用 v(1) = 1 这 一 事实 . 
在 计算 PA 而 m 很 小 时 和 计算 AP 而 ”很 小 时 ,这 个 特性 很 重要 . 
作为 Householder 抢 阵 修正 的 一 个 例子 , 假设 我 们 想 用 B = QTA XAA Ac 
R?*^ (m z n), 其 中 正 交 矩阵 Q 的 选取 保证 对 于 满足 1 < ; «n 895 488 B+: 
m,j) = 0. 此 外 , 假定 AG :m,1: 7-1) — 0, 且 我 们 打算 将 Householder 向 量 的 基 
本 部 分 存储 于 A(; +1: m,j) 中 . 下 述 指令 完成 这 项 工作 : 
(v, 8| = house(A(j : m, j)) 
A(j :m,j:mn) = (Im—j+1 — BvvT)A(j : m, j : m) 
A(j-1:m,j)—-v(2:m- j * 1) 
从 计算 的 角度 看 , RATT — m — j 1 阶 Householder 矩阵 作用 于 A 的 最 下 面 
的 m—j+1 47. 然而 在 数学 上 , 我 们 仍然 用 了 -个 mxm 的 Householder 矩阵 


P= K 0 | = Im- pöö, B= | ° | 
0 P v 
作用 于 整个 A 上 . 无 论 怎样 , Householder 向 量 的 基本 部 分 可 被 存储 于 A 的 化 为 
零 的 元 素 之 位 置 上 . 
5.1.5 SARE 


Householder 矩阵 的 含 入 特性 是 非常 好 的 .Wilkinson(1965,， 第 152~162 W) 78 
出 house 程 序 产生 的 Householder JA ò 非常 接近 精确 值 v. 如 果 P = J-200' /DT%, 
pi 
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IÈ — Pllz = O(u), 
这 意味 着 P 是 在 机 器 精度 内 正 交 的 . 而 且 , 用 P 的 计算 修正 也 非常 接近 用 PP 的 
精确 修正 : 
fi(PA)= P(A+E), |Ell2 = O(ul|Alz), 
f(AP) =(A+E)P, |Ell2 = O(ulAl|z). 
5.1.6 ”因子 形式 表达 


在 随后 的 章节 中 将 给 出 的 许多 基于 Householder 变换 的 分 解 算法 都 要 计算 若 
F^ Householder 矩阵 之 乘积 : 


Q-QiQ;..Q.,, Q;-I- Biv Pv DT, (5.1.3) 
其 中 r+ <n, Hfp v0 形 如 
yD = (0, 0, 40, 1,u,, ute ,vO»)T. 


jl 
.即便 在 随后 的 计算 中 会 涉及 Q, 但 也 没 必要 将 Q 显 式 地 计算 出 . 例如 , 如 果 ce 
R^*«, 我 们 希望 计算 QTC, 则 只 需 执 行 如 下 循环 : 

for 7 =1:r 

C-Q;C 

end 
对 Householder 向 量 v™..-v 和 相应 的 6; (如 果 方 便 ) 的 存储 导致 了 Q 的 因子 
形式 的 表达 方式 . 为 说 明 因子 形式 的 经 济 , 假定 有 数组 A, B. AG +1:n,j) 中 存储 
第 7 个 Householder 向 量 的 基本 部 分 v0 (j - 1: n). 以 QTC BHC eR” 的 运 
算 可 按 下 述 算法 执行 : 


for j=1:r 
v(j:n)- AG » nj) | (5.1.4) 
Cj :n.j) = (1— Bolg : n)uG : )P)CG : n.) 

end 


这 需 2gr(2n — r) 个 flop. 如 果 显 式 地 计算 出 m x n KEM Q, 则 需 2n2q 个 flop. 

当然 在 某 些 应 用 中 必须 将 Q( 或 Q 的 一 部 分 ) 显 式 求 出 . 有 两 种 计算 House- 
holder 乘积 矩阵 Q 的 算法 , 一 种 是 向 前 累积 : 

Q= In 

for j=1:7 

Q = QQ; 

end 

Q= In 

for j=r:-1:1 
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Q = Q;Q 

end 
回想 到 Q; 的 (j —1) x G — 1) RES. 所 以 , 在 向 后 累积 执行 
之 初 , Q 的 很 大 部 分 是 单位 矩阵 , 它 随 着 迭代 的 进行 逐渐 变 满 . 这 个 特征 可 用 来 减 
少 所 需 的 flop 数 . 相反 , 在 向 前 累积 法 中 , 执行 完 第 一 步 后 OQ 就 变 成 满 的 了 . 因此 ， 
向 后 累积 法 更 为 经 济 , 是 应 选 的 方案 ; 

Q=In 

for j=r:-1:1 

1 
A(j -1:m,j) 
QU inj im) = (E — Boi: noli : n)7)QU : mj im) 

end 
这 需 约 A(n?r — nr? + 73/3) 个 flop. 
5.1.7 ”分 块 形式 


假设 Q = Q,---Q, 是 几 个 n x n Householder 矩阵 的 乘积 , 如 (5.1.3). HF 
Q; 是 单位 矩阵 的 秩 1 校正 , 由 Householder 向 量 的 结构 , Q 是 单位 矩阵 的 秩 r BE 
正 , 可 以 写成 


vin) = | (5.1.5) 


Q-I-WY!, (5.1.6) 
Hp WwW AY En xr ER. 计算 分 块 形式 (5.1.6) 的 关键 在 于 下 面 引 理 . 
引 理 5.1.1 假定 日 = IC-WY! 是 nxn HEX, 其 中 W,Y cR. 
JdoX P—I-fvv!,X v € R",z = —8Qv, 则 
Q, -QP-I-W.,YT 
HP Ws =[W z f Y. [Y v] HA nx (j +1) BH. 
证 明 
QP =(I+ WYT)U — BvvT) = I + WY" — BQvv™ 
-I4 WYT zv? = I - [W zj[Y v|*. 口 
反复 应 用 这 个 引 理 , 可 由 (5.1.3) 中 的 Q 的 因子 形式 得 到 分 块 形式 如 下 : 
算法 5.1.2 40€ Q = Q,- Q, 是 如 (5.1.3) 所 示 的 一 系列 nxn Householder 
4E BE 8] HAR, 本 算法 计算 满足 Q — I- WY? ee W,Y eR, 


Y =v) 

W = - iO 

for j =2:r 
z= - 5 + WY T? 
W = [W z] 
Y = [Y v] 


end 
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如 果 利 用 了 v0 中 的 零 元 素 , 则 本 算法 需要 2r2n — 2r3/3 个 flop. ERB Y 仅仅 是 
由 Householder 向 量 组 成 的 矩阵 , 因此 , 它 是 单位 下 三 角形 矩阵 . 很 显然 , 生成 WY 
表示 形式 (5.1.6) 的 中 心 任务 是 计算 W HER. 

当 Q 与 另 一 个 矩阵 进行 运算 时 , Householder 矩阵 的 乘积 的 分 块 形式 就 显得 很 
有 了 吸引 力 . 假定 C eR”, 则 运算 

CQIC=(T+TWYTIC =C +Y(WTC) 

含有 大 量 的 3 级 运算 . 另 一 方面 , OR Q 是 因子 形式 , QTC 只 是 包含 大 量 的 矩阵 
5 WBA BES 2 级 运算 . 当然 , 关于 此 , 随 着 C 列 数 的 减少 , 2 级 运算 
和 3 级 运算 之 间 的 差别 也 逐渐 消失 . 

我 们 想 说 明 的 是 , 从 几何 上 说 , WY 表示 不 是 一 般 化 的 Householder 变换 . 真 
正 的 分 块 表示 的 形式 为 Q = 1 -2VVT, 其 中 V e R? 满足 VT V = I., 参阅 
Schreiber and Parlett(1987) 及 Schreiber and Van Loan(1989). 

例 5.1.3 do n —4,r — 2, A [1,0.6, 0, 0.8]7, [0, 1,0.8,0.6]7 分 别 是 与 Q1,Q2 
相关 的 Householder w È, N 

-1 1.080 

o2 -newYtens M e [o a oi] 

—0.8 0.264 


5.1.8 Givens 旋转 


Householder 反射 对 于 大 量 引 进 零 元 是 非常 有 用 的 , 例如 , 消去 一 个 向 量 中 除 第 
一 个 分 量 外 的 所 有 分 量 . 然而 , 在 许多 计算 中 , 必须 有 选择 地 消去 一 些 元 素 . Givens 旋 
转 就 是 解决 这 个 问题 的 工具 . 下 面 这 些 矩 阵 是 单位 矩阵 的 秩 2 校正 : 


doe Qo Qe 0 
0 c s O12 

Gi, k, 0) = : (5.1.7) 
0 —8 c 0 |k 
0 0 0 0 


i k 
其 中 对 于 某 个 4, c= cos(0), s = sin(6), 显然 Givens 旋转 是 正 交 变 换 . 
用 G(i, k, OT 进行 左 乘 产生 一 个 在 (i,k) 坐标 平面 的 0 JURE BERI E EE. Sc 
Bx E, 如 果 m eR”, y= Gli, k, 0)T o, W 
CTi — Stk, j =i, 
Y; = STi+crk, j= k, 
Lj, jxik. 
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从 这 组 公式 很 清楚 知道 , 我 们 可 以 通过 令 
Ti s= —Tk 
= ae NE (5.1.8) 
Tate y, 为 0. 因此 , 使 用 Givens 旋转 很 容易 就 可 将 一 向 量 的 某 个 指定 分 量化 为 0. 
实际 上 还 有 比 (5.1.8) 更 好 的 方法 来 计算 c 和 s. 例如 , 下 述 算法 能 防止 溢出 发 生 . 
算法 5.1.3 给 定 标 量 a 和 b, 本 函数 计算 c= cos(0) 和 s = sin(0), 使 得 


ED 


function: |c, s = givens(a, b) 


ifb=0 
c=1;s=0; 
else 
if |b| > lal - 
r = —afb;s = M VA +T; C= sr 
else 
Tt =—b/a;c= 1/Vi+ 72; s = ev 
end 
end 


本 算法 需要 5 个 flop 和 一 次 求 平方 根 运 算 . 注意 其 中 并 没有 计算 0, 因此 不 涉及 反 
三 角 函 数 . 

例 5.1.4 40% a = [1,2,3,4]*, cos(8) = 1/V5,sin(0) = —2/4/5, 则 G(2,4,0)a = 
(1, 20, 3, 0)*. 
5.1.9 Givens 旋转 的 应 用 


当 应 用 Givens 旋转 矩阵 做 乘法 运算 时 ， 关 键 是 要 利用 它 的 简单 结构 ， 假定 
AER™" c — cos(6), s = sin(6). 如 果 Gl, k,0) e R^, 则 修正 A — Gli, k, ATA 
只 影响 4 的 两 行 


T 
Alli, kl:) = | » ‘| Alli, Kl.) 


ARE 6n 个 flop: 
for j=1:n 
Ti = A(i,j) 
T2 — A(k, j) 
A(i, j) = en — 872 
A(k, j) = sri + e72 
end 


同样 , 如 果 GG, k, 6) eR", 则 修正 A — AG E, 0) 只 影响 4 的 两 列 
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A(:, [i, k]) = AC, [i, k]) | B i | 


HRS 6m 个 flop: 


for j—1:m 
n= A(j, i) 
T2 = AG, k) 


A(j,1) = en — ST2 
A(j, k) = sri + cro 
end 


5.1.10 BARE 


Givens 旋转 的 数值 性 质 与 Householder 反射 一 样 良好 . 确切 地 说 ， 可 以 证 明 
givens 程序 的 计算 解 & 和 3 满足 
ê= e(l te), & = O(u), 
ê= 6(l+es), Es = O(u). 
如 果 接 着 用 & 和 3 进行 Givens BE, 则 计算 所 得 的 修正 是 一 个 近似 矩阵 精确 修正 : 
FUG, k,0)T AJ 2 Gl, k, 0) (A-- E), Elle ~ ullAll, 
fUAGG, k,8)) = (A+ E)G(i k, 0), — ||Ella ~ ull Alla. 
Givens 旋转 详细 的 误差 分 析 可 在 Wilkinson(1965, 第 131—139 页 ) 中 查 到 . 
5.1.11 Givens 旋转 的 表示 积 


假定 Q = Ga …. Gs 是 若干 个 Givens 旋转 的 乘积 . 正如 关于 Householder 反射 
的 结论 一 样 , HEH Q 保持 为 因子 形式 要 比 显 式 地 求 出 其 乘积 更 为 经 济 . 应 
用 Stewart(1976) 提出 的 技术 , 可 用 一 简洁 的 方法 做 到 这 一 点 . 其 思想 是 将 每 一 个 
旋转 变换 对 应 于 一 个 浮 点 数 o. 具体 地 说 , 如 果 
z-| c ‘| e+? =l, 
—s c 
则 定义 标量 p 如 下 : 
ifc=0 
p=1 
elseif |s] < |c] 
p= sign(c)s/2 (5.1.9) 
else 


p = 2sign(s)/c 
end 


实质 上 , 相当 于 当 正 弦 较 小 时 存储 9/2, 余弦 较 小 时 存储 2/c. 按 这 种 对 应 关系 , 可 
以 重新 构造 ZW: 


194 第 5 章 EXITUS LE 


ifp=1 
c=0;s=1 
elseif }p| < 1 
s = 2p;c = V1— 3? (5.1.10) 
else 
c=2p;s= Vl- @ 
end 
这 样 也 许 会 产生 —Z, 不 过 这 无 关 紧 要 , 因为 如 果 Z 能 使 矩阵 的 某 个 元 素 变 为 0， 
则 —z 也 能 做 到 . 把 c 和 s 中 的 较 小 的 数 存储 起 来 的 最 根本 理由 是 , 如 果 z 接近 
1, 公式 v1 二 73 的 精度 就 低 得 可 怜 . 在 Stewart(1976) 中 可 以 找到 更 多 的 细节 . 当 
JR, WEH G(i,k,0), 除 需 相 关 的 p 外 , 还 需 ? 和 上 的 值 . 我 们 将 在 5.2.3 节 中 讨论 ， 
这 并 没有 什么 困难 . 
5.1.12 ”误差 传播 


我 们 简要 讨论 当 算法 涉及 一 系列 Householder 修正 或 Givens 修正 时 舍 入 误差 

的 传播. 精确 地 说 , 假定 给 出 A = Ao ER”, FF ASE A1.… A, = B 是 利用 
Ax = fl(QrAr12x), k—1:p 
产生 的 . 假定 Q, 和 Z, 的 产生 及 应 用 都 使 用 上 述 的 Householder 算法 和 Givens 
算法 . 设 Q, 和 Zi 是 没有 舍 入 误差 的 情况 下 产生 的 正 交 托 阵 , 能 够 证 明 
B = (Q, Q(A + EZ: Zp), (5.1.11) 

其 中 | Bll, < cull Allo, c 是 一 个 温和 依赖 于 n,m 和 p 的 常数 . 简 言 之 , B 是 某 个 近 
似 于 A 的 矩阵 之 精确 的 正 交 修正 . 


5.1.13 ”快速 Givens 变换 


由 于 Givens 旋转 能 够 有 选择 地 引进 零 元 , 这 使 得 它 在 一 些 有 特殊 结构 的 问题 
中 成 为 一 个 重要 的 消 零 工具 . 这 导致 了 “快速 Givens” 方 法 的 发 展 . 快速 Givens 思 
想 就 是 当 Q 是 一 系列 Givens 旋转 的 乘积 时 巧妙 地 表达 它 . 具体 地 说 , 就 是 用 一 个 
矩阵 对 (M, D) 来 表示 Q, 其 中 MT M = D = diag(di), 且 每 个 d; 都 大 于 0. 矩阵 
Q, M 和 D 通过 公式 

Q= MD"? = Mdiag(1/ vdi) 

联系 起 来 ， 请 注意 (MDOAT(MD"?) = DYDD? = I, Aue 
MD? 是 正 交 的 ， 而 且 如 果 F Æ nxn ERB F'DF = Drew AX AHE 
RE, 则 MZ, Mae, = Dnew; 其 中 Mac) = MF. 因此 可 以 通过 对 快速 Givens 的 
表示 形式 (M, D) 做 修正 来 得 到 (Mew, Drew). 为 使 这 个 思想 具有 实际 应 用 的 意 
义 我们 必须 给 出 如 何在 保证 D 为 对 角 和 矩阵 的 限制 条 件 下 使 P 具有 消 零 的 能 力 . 

在 2x2 的 层次 上 能 很 好 地 给 出 详细 解释 ， 令 z = (222), REDE D = 
diag(dı, d2), 假定 di 和 do 大 于 零 . 定义 
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Mi = | A 1 | (5.1.12) 


1 Ql 
且 观 察 到 


Mla _ Bir, + 22 
Tı QiT2 ' 


d. 2d d d 
Mtpm =| 2+ pidi 181 + doa | = Dh. 


dıßı + doo di + aide 
如 果 za 40,0; = —11/z2, A f = —o1da/d;, W 


MIr = z2(1 +71) 
1 0 3 


MTDM, = | dü vm) 0 | 
! 0 dalta) | 
其 中 y = -aaBi = (de/di)(2i/22). 
类 似 地 , 如 我 们 假定 zl 40, HEM M2 WF: 
1 œ 
meji n] - 


其 中 as = —22/21, 且 Be = —(d1/dz)o2, 则 


Ma _ Zz1(1 + v2) 
0 


di (1+ 92) 0 


MĪDM: = 
a | 0 — d(1 +7) 


= D», 


其 中 y = -azb = (di/dz)(za/21)". 

容易 证 明 , 无 论 i = 1 或 ;= 2, BM J DMD] O 都 是 正 交 矩阵, BE 
能 使 JTD Pr) 的 第 二 个 分 量 为 0. (J 也 许 实际 上 是 一 个 反射 变换 ， 因此 采用 流 
行 的 名 称 “ 快 速 Givens 变换 ”算是 对 了 一 半 .) 

注意 到 y, 满足 yy = 1. 因此 , 我 们 选择 上 述 的 M, 使 “增长 因子 ”(1 + 以 


2 为 界 . 形 如 
[80 1 11 ag 
wipes 
并 满足 —1 < o8, < 0 的 矩阵 是 2 x 2 的 快速 Givens 变 换 . 注意 , 用 快速 Givens 2E 


HER, 所 需 乘法 次 数 仅 为 “普通 ”的 Givens 变换 的 一 半 . 而 且 , 消 零 过 程 并 不 需 
计算 平方 根 . 
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TE nxn 的 情形 下 , 一 切 都 和 普通 的 Givens 旋转 一 样 “ 放 大 ”. "1 型 ”变换 的 
形式 为 


1 0. 0 ... 0 
Qe Bee do ofa 
F(i,k,a, 6B) = : Ul : 
Qe Les «wee OF (5.1.14) 
Qe 0e 0 0 
2 k 
而 “2 m" 变换 的 结构 为 
0 1 a 0 li 
F(i,k,o,8) = : 
9 be be 
i k 
综合 这 些 可 得 下 列 算法 . 


算法 5.1.4 给 定 2c R? PEH deR, 本 算法 计算 一 个 2 x 2 快速 Givens 
变换 M, 使 得 Mc 的 第 二 个 分 量 为 零 且 MTDM = D; AH ABH, 其 中 D= 
diag(di,da). 如 果 type = 1, 则 M 的 形式 为 (5.1.12); de X type = 2, M M HBA 
为 (5.1.13). Di TAARA Š d. 

function: [a, 0,type] = fast.givens(z, d) 


if z(2) #0 
o = —2(1)/2(2); 6 = —ad(2)/d(1);7 = —08 
ify <1 
type=1 
T = d(1);d(1) = (1+ 7)d(2); d(2) = (1 + 7)7 
else 
type=2 


a = 1/o; B = 1/6; = 1/7 
d(1) = (1+ y)d(1); d(2) = (1 + y)d(2) 
end 
else 


type=2 
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a=0;8=0 
end 

快速 Givens 变换 的 应 用 类 似 于 普通 的 Givens 变换 . 即使 选择 了 适当 的 变换 类 
型 , 增长 因子 1 + + 仍 可 能 达到 2. 因此 , 经 过 s 次 修正 后 D 和 M 的 元 素 可 能 已 
增加 了 25. 这 意味 着 在 进行 快速 Givens 变换 过 程 中 必须 监控 对 角 和 矩阵 D 以 防 溢 
出 . 参阅 Anda and Park(1994), 看 如 何 有 效 做 到 这 一 点 . 

尽管 如 此 , 因为 MD? 总 是 正 交 的 , 故 M 和 DD 的 元 素 增长 总 是 受 控 的 . 
快速 Givens 方法 的 舍 入 性 质 是 我 们 对 Givens 矩阵 技术 所 期 望 的 . 例如 , 如 果 我 们 
计算 Ô = IMD), RP M m DEM AD 的 计算 解 , 则 @ 是 达到 工作 精 
BE |Q°Q — Ilja ~ u f iE SEE RE. 


习 题 


5.1.1 X z= [1,7,2,3, —1]7 执行 house. 

5.1.2 aMMy ER" 上 的 非 零 向 量 , 给 出 一 个 算法 求 Householder HM P, 使 得 Pa 
是 y 的 数 乘 . 

5.1.3 BH x eC, m = eile, HP 0c R. Mee 40, EX u=xte||zoller, 证 
明 P = I — 2uu" /u" u 是 西 矩阵 且 有 Pzx = —e^ |jæ||ze1. 

5.1.4 “运用 Householder 矩阵 证 明 det(I + æy") — 1-- zT y, 其 中 z Ay 是 AAR. 

5.1.5 ”假定 c € C^, 试 给 出 一 个 算法 产生 一 个 形 如 

Q- © :| ceR, c+|s\? =1 
-s c 

的 本 矩阵 , 使 Qa 的 第 二 个 分 量 为 0 

5.1.6 ”假设 z,y 是 R" .上 的 单位 向 量 , 试 给 出 一 个 算法 , 要求 该 算法 使 用 Givens 变换 
来 计算 出 一 个 正 交 算 阵 Q 使 得 Qa = y. 

5.1.7 ”确定 c= cos(0) A s = sin(0) 使 得 

es] [51_ [1 
Li fejle 

5.18 ”假定 Q = 了 工 +YTYT 是 正 交 矩阵 且 Y CRATER 是 上 三 角形 矩阵 . 
证 明 : 如 果 Q, = QP, 其 中 P= 了 I- 2vvT /v?v 是 Householder 4EBE, 则 Q, 可 被 表示 为 
Q, -I-Y,T,YT, BH Yy ER G+D AIT, ERODXOTY 是 上 三 角形 矩阵 . 

5.1.9 ”假设 第 ; 个 Householder MEMRAM v? (j + 1: n) 存储 于 AG 十 1:m 3) 
中 , 给 出 算法 5.1.2 的 一 个 具体 实现 , 由 于 4 中 已 经 有 效 地 表示 了 Y, 所 以 你 只 需 对 W EE 
做 好 安排 . 

5.1.10 WH: 如 果 S BRM (ST = -5), WQ=(1+S)\1-S)* 是 正 交 算 
Ek. (Q 被 称 为 是 S 的 Cayley E2). 构造 一 个 秩 为 2 的 矩阵 S, 使 得 Qe 除 第 一 个 元 素 外 均 
AF, x 是 向 量 . 

5.1.11 假设 PeRnxnr 满足 |PTP -Ta==<e<l 证 明 书 的 所 有 奇异 值 均 在 区 间 
fl—e,l+e] #, EP -UVTI « e, £P. P={USV" 是 PP 的 奇异 值 分 解 . 
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5.1.12 ”假定 A € R2x” 在 什么 条 件 下 A 的 最 近 旋 转 比 最 近 反 射 更 近 ? 
本 节 注 释 与 参考 文献 


Householder 矩阵 以 A. S. Householder 命名 , 他 使 得 Householder 矩阵 在 数值 分 析 中 得 

到 广泛 应 用 . 然而 , 此 类 和 矩阵 的 某 些 性 质 早 就 被 人 们 所 知 了 , 参见 : 

H. W. Turnbull and A. C. Aitken(1961). An Introduction to the Theory of Canonical Ma- 
trices, Dover Publications, New York, pp. 102-105. 
有 关 Householder 变换 的 其 他 文献 包括 ， 

A. R. Gourlay (1970). “Generalization of Elementary Hermitian Matrices," Comp. J. 13, 
411-412. 

B. N. Parlett(1971). “Analysis of Algorithms for Reflections in Bisectors,” SIAM Review 13, 
197—208. 

N. K. Tsao(1975). “A Note on Implementing the Householder Transformations,” SIAM J. 
Num. Anal. 12, 53-58. 

B. Danloy(1976). “On the Choice of Signs for Householder Matrices," J. Comp. Appl. Math. 
2, 67-69. 

J. J. M. Cuppen (1984). “On Updating Triangular Products of Householder Matrices,” 
Numer. Math. 45, 403-410. 

L. Kaufman(1987). “The Generalized Householder Transformation and Sparse Matrices,” 

Lin. Alg. and Its Applic. 90, 221-234. f 
更 详尽 的 Householder 变换 的 误差 分 析 见 Lawson and Hanson(1974, 83-89). 分 块 

Householder 表示 和 相关 计算 的 主要 参考 包括 : 

C. H. Bischof and C. Van Loan(1987). “The WY Representation for Products of Householder 
Matrices,” SIAM J. Sci. and Stat. Comp. 8, 52-813. 

R. Schreiber and B. N. Parlett(1987). “Block Reflectors: Theory and Computation,” SIAM 
J. Numer. Anal. 25, 189-205. 

B. N. Parlett and R. Schreiber(1988). “Block Reflectors: Theory and Computation,” SIAM 
J. Num. Anal. 25, 189-205. 

R. S. Schreiber and C. Van Loan(1989). “A Storage-Efficient WY Representation for Prod- 
ucts of Householder Transformations,” SIAM J. Sci. and Stat. Comp. 10, 52-57. 

C. Puglisi(1992). “Modification of the Householder Method Based on the Compact WY 
Representation,” SIAM J. Sci, and Stat. Comp. 13, 123-126. 

X. Sun and C. H. Bischof(1995). *A Basis-Kernel Representation of Orthogonal Matrices," 
SIAM J. Matriz Anal. Appl. 16, 1184-1196. 
以 W. Givens 命名 的 Givens 旋转 又 被 称 为 Jacobi MERE. Jacobi 在 1846 年 以 这 些 变换 

为 基础 设计 了 对 称 特征 值 算法 , 参阅 8.4 节 . Given 旋转 的 存储 方法 的 详细 讨论 参阅 ， 

G. W. Stewart(1976). “The Economical Storage of Plane Rotations”, Numer. Math. 25, 
137-138. 
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快速 Givens 变换 又 被 称 作 “ 免 求 平方 根 ” 运算 , (回想 一 下 ,Given 变换 的 形成 都 需 经 过 求 
平方 根 运算 ), 有 好 几 种 方法 来 安排 快速 Givens 运算 . 见 : 

M. Gentleman(1973). “Least Squares Computations by Givens Transformations without 
Square Roots,” J. Inst. Math. Appl. 12, 329-330. 

C. F. Van Loan(1973). “Generalized Singular Values With Algorithms and Applications,” 
Ph. D. thesis, University of Michigan, Ann Arbor. 

S. Hammarling (1974). “A Note on Modifications to the Givens Plane Rotation,” J. Inst. 
Math, Appl. 13, 215-218. 

J. H. Wilkinson(1977). “Some Recent Advances in Numerical Linear Algebra,” in The State 
of the Art in Numerical Analysis, ed. D. A. H. Jacobs, Academic Press, New York, pp. 
1-53. 

A. A. Anda and H. Park(1994). *Fast Plane Rotations with Dynamic Scaling," SIAM J. 
Matriz Anal. Appl. 15, 162-174. 


5.2 QR 分 解 


我 们 现在 叙述 如 何 应 用 Householder 变换 和 Givens 变换 来 计算 各 种 分 解 , 首 

先是 QR 分 解 . — m x n 矩阵 A 的 QR 分 解 为 
A=QR, 

其 中 QeR™™™ 是 正 交 和 矩阵, ROR”? BLS SABE. 本 节 中 我 们 假定 m 2 n. 
我 们 将 会 看 到 如 果 A 是 列 满 秩 的 , W Q 的 前 ” 列 形成 ran(4) 的 一 组 正 交 基 . A 
此 , 计算 QR 分 解 也 是 求解 一 组 向 量 之 正 交 基 的 一 种 方法 . 此 计算 可 按 几 种 方法 进 
行 . 我 们 给 出 的 方法 包括 基于 Householder 变换 、 分 块 Householder 变换 、Givens 
变换 和 快速 Givens 变换 . 同时 还 讨论 了 Gram-Schmidt 正 交 化 方法 和 一 种 在 数值 
上 更 稳定 的 所 谓 修正 Gram-Schmidt 方法 . 


5.2.1 Householder QR 分 解 


我 们 首先 讨论 利用 Householder 变换 的 QR 分 解 方法 . 算法 的 要 和 站 可 通过 一 个 
小 例子 来 展示 . 考虑 m = 6,n = 5, 假定 Householder 4EPE H, 和 H2 esu, 它们 
使 得 


五 2 万 ;4 = 


Soox X 
@@@@x x 
x XXXX 
XXXXXX 


x 


qQeooo x 


0 
将 注意 力 集中 在 这 些 被 标记 的 元 素 上 , 我们 要 给 出 一 个 Householder MRF ff; € 
R4x4 使 得 


200 $953 EXC) A 


e x 

Hi; ® - 0 

® 0 

e 0 

如 果 Hs = diag(I2, Hs), 则 

X X X X X 
0 x x x x 
H,H4H,A— 0 O0 x x x 
0 0 0 x x 
0 0 0 x x 
0 0 0 x x 


照 此 执行 ” 步 就 得 到 上 三 角形 矩阵 HHn HA = R, 令 Q= Hl.…H 我 
们 得 到 A = QR. 
算法 5.2.1 (Householder QR) 给 定 A c R?*",m > n, 本 算法 计算 House- 
holder #M Hı- -Hn 满足: dX Q— Hi Hy, MW QTA- R EE AX BE. 
A 的 上 三 角 部 分 被 R6 EEAS4 E, 第 j^ Householder eH j-- 1: m 分 
量 存储 于 A(j3o1:m,j),j «€ m. 
forj—1:n 
[v, 8] = house(A(j : m, j)) 
A(j : m,j : n) = (Im—j41 — Bv T)AG : mj :m) 
ifj«m 
A(j-1:m,j) 2 v(2:m— j 4 1) 
end 
end 
本 算法 需要 2n?(m — n/3) 个 flop. 
为 说 明 A 是 如 何 被 覆盖 的 , Be 
v) = (0,0,---0,1, v6)... vi]? 
“a J 


是 第 j 个 Householder 向 景 , 则 算法 执行 完毕 时 


ru "12 7T3 Tia Tis 
Vg 722 T23 T24 T25 
Vs Us r33  T34 T35 
Vå U4 V4 T44 T45 


Vs Up Us’ Vs T55 
() 42 ,0 0 9 
6 6 6 
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OR MS Q = Hı- Hn, 则 可 由 (5.1.5) 而 累积 得 到 . 累积 需 A(m?n— mn? - 
n?/3) 个 flop. 

所 计算 的 上 三 角形 矩阵 REWE ZT(4+ 盏 = 忆 的 意义 下 是 一 个 附近 的 A 
之 精确 的 R, 其 中 2 是 某 一 精确 的 正 交 和 矩阵 且 Ello ~ ul| Alla. 
5.2.2 ”分 块 Householder QR 分 解 


算法 5.2.1 含有 大 量 的 拖 阵 与 向 量 相 乘 和 外 积 修正 等 2 级 运算 . 通过 重新 组 织 
计算 和 应 用 5.1.7 节 中 讨论 的 分 块 Householder 表示 形式 可 以 得 到 一 个 3 级 运算 方 
法 . 其 思想 是 应 用 一 组 如 5.1.7 节 中 的 WY 形式 表示 的 Householder 变换 . 

一 个 小 例子 可 以 说 明 主 要 思想 . 假定 n = 12 且 分 块 参数 7 的 值 为 7 = 3. 第 一 
步 是 如 算法 5.2.1 那样 生成 Householder 矩阵 Hi, Ho 和 Ha. 然而 不 像 算 法 5.2.1 
那样 将 H 作用 于 整个 A, 我 们 只 将 Hi, Ha 和 Hs 作用 于 4(:,: 3). 做 完 这 些 之 
后 我 们 生成 分 块 表示 式 HHH = T+ WYT, 然后 进行 3 级 修正 

A(,4:12) = (I + WY")A(;:,4 : 12). 
下 一 步 , 按 算法 5.2.1 生成 H4, Hs 和 He. 然而 在 得 到 分 块 表示 形式 HaHs Hs = 
1+ WY? 之 后 才 将 这 些 变 换 作用 于 4(:,7 : 12). 这 就 是 整体 构想 . 
A=1;k=0 
while A x n 
r=min(A+r—l1,n);k=k+1 
用 算法 5.2.1 上 三 角 化 AA: m,A:n) 
得 到 Householder 矩阵 Hy, , Hr. (5.2.1) 
用 算法 5.1.2 得 到 块 形式 
I-WAYI = Hy, H, 
A(X: m,r+1:n)= (I+ WLYT)T AQ : m7 1:m) 
A=T+1 

end 
用 于 定义 矩阵 Hy,- , H, 的 Householder 向 量 的 零 - 非 零 结构 表明 Wh AY, 的 
前 一 1 行 都 是 零 . 该 事实 在 实际 应 用 中 可 利用 . 

考虑 (5.2.1) 的 合适 的 方式 是 进行 划分 : 

A=[Aj,:::,An], N =ceil(n/r), 
其 中 列 块 妈 在 第 k 步 被 处 理 . 在 (5.2.1) 的 第 k zb, 一 个 分 块 Householder 形成 且 
将 Ay 的 次 对 角 线 部 分 化 为 0. 余下 的 列 块 也 被 更 新 . 

(5.2.1) 的 合 入 特性 基本 上 与 算法 5.2.1 相同 . 由 于 W 矩阵 的 计算 , 所 需 的 flop 
数 稍 有 增长 ， 然 而 作为 分 块 的 结果 , 除 一 小 部 分 外 所 有 的 flop 都 发 生 在 矩阵 乘法 
中 . 确切 地 说 , (5.2.1) 的 3 级 比例 约 为 1 一 2/N. 详细 内 容 请 参阅 Bischof and Van 
Loan(1987). 
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5.2.3 Givens QR 方法 


Givens 旋转 也 可 用 来 计算 QR 分 解 . 用 一 个 4 x 3 矩阵 的 例子 足以 表明 其 一 
BUBAR: 


x X x x x X x x Xx 

x x x (3,4) x X X (2,3) X X X (1,2) 

X x x X X X 0 x x 

X X X 0 x x 0 x x 

x X X x X x x X X 

0 x x 1(G820|0 x x |] @3))} 0 x x | (3,4) 
一 一 一 一 一 一 ——3À 

Ü x x 0 x x 0 0 x 

0 x x 0 0 x 0 0 x 


这 里 我 们 已 标记 定义 所 对 应 Givens 旋转 的 2 向 量 . 很 显然 , WR G; 代表 在 约 化 
过 程 中 的 第 j 次 Givens 旋转 , 则 QT A = n 是 上 三 角形 矩阵 , 其 中 Q = GiG 
且 t 是 旋转 的 总 次 数 . 对 于 一 般 的 m 和 n 我 们 有 下 列 算法 . 

算法 5.2.2 (Givens QR) R AER”, E mèn, APRUQTA=R 
RAZA 其 中 已 是 上 三 角形 矩阵 , Q LER. 

for j=1:n 

fori=m:-1:j+1 
le, s] = givens(A(i — 1,7), A(i, 2)) 

T 


© $| Ati —1: 4,527) 


A(i—1:4j4:n)-— | S 


end 
end 
本 算法 需要 3n? (m — n/3) 个 flop. 注意 , 我 们 可 利用 (5.1.9) 将 (c, s) 通过 单个 p 来 
表示 , 且 将 其 存储 于 已 化 为 零 的 AG, j) 中 . 利用 (5.1.10) 可 以 进行 如 z 一 Qrz 的 
运算 , 但 要 仔细 重组 这 些 旋转 的 顺序 . 
对 上 三 角形 矩阵 可 采用 其 他 顺序 的 旋转 变换 . 例如 , 如 果 我 们 用 下 面 的 语句 取 
代 算 法 5.2.2 中 的 for 语 名 
fori—m:-1:2 
for j = 1 : min{i—1,n} 
则 A 中 的 零 元 是 逐 行 引进 的 . 
Givens QR 方法 中 的 另 一 个 因素 是 将 a, 消 零 的 旋转 平面 . 例如 , 为 使 ui 变 
为 0, 如 不 像 算法 5.2.2 中 那样 对 第 i -1 行 和 第 i 行 做 旋转 , 我 们 也 可 对 第 ; 行 和 
B i TIT: 


for j=i:n 
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fori-m:-1:j-41 
[c, s] = givens(A(, j), AG, J) 


Cc 8 


T 
Ai iim] | 4( d,j:m) 


—8 cC 
end 


end 
5.2.4 利用 Givens 变换 的 Hessenberg QR 分 解 


作为 Givens 旋转 应 用 于 有 结构 的 问题 的 例子 , 我 们 说 明 如 何 将 其 用 于 计算 上 
Housenberg 矩阵 之 QR 分 解 . 一 个 小 例子 可 以 表明 其 一 般 思 想 . 
BE n= 6, 且 经 过 两 步 变换 后 , 我 们 计算 得 


x x x x x x 
0 x x x x x 
G(2,3,02)7G(1,2,4)"A= | 2° 2 * * * X 
0 0 x x x x 
0 0 0 x x x 
0 0 0 0 x x 
然后 计算 G(3, 4,04) 来 将 当前 的 (4, 3) BA 0, 于 是 得 到 
x x x x x x 
0 x x x x x 
0 0 
G(3,4,0,)7 G(2,3,0:)7 G(1,2,0:)7 A = x x x n 
0 0 0 x x x 
0 0 0 x x x 
0 0 0 0 x x 


综 上 我 们 得 到 下 列 算法 . 
算法 5.2.3 (Hessenberg QR) de A c R?*" 是 上 Hessenberg 42, 则 本 算 
法 用 QTA=RAAA, 其 中 QALERMM, R XE ATEM Q-G Gr- 
是 一 组 Givens 旋转 的 来 积 , 其 中 Gj Bio Gj = G(j,i + 1,45). 
for j=1:n—-1 
[c s] = givens(A(j, j), AG +1,3)) 
T 
Aj: f +1 jin)= | e? | AG jo 1j:n) 
—s € 
end 


本 算法 需要 3n? 个 flop. 
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5.2.5 ”快速 Givens QR 分 解 


我 们 可 以 利用 5.1.13 节 描 述 的 快速 Givens 变换 来 计算 Q 的 (M, D) 表示 形 
式 . 具体 地 说 , 如 M 是 非 奇异 的 , D BNA, 使 得 MTA = 工 是 上 三 角形 矩阵 ， 
M" M = DD 是 对 角形 矩阵 , 则 Q = MD"? REXER, A QTA=DUPT=]R 
是 上 三 角形 矩阵 . 类 似 于 Givens QR 方法 我 们 有 下 述 算法 . 
算法 5.2.4 (快速 Givens QR) #2 A € Rmxn E. m 2 n, 本 算法 计算 
非 奇 异 的 ME Rmxm 和 正 的 d(1 : m) 使 得 MTA = T X LE AX AER, L 
MTM = diag(di,… ,dm). ART RA. RE A= (UMD-LI2)DY2T) X AH 
QR 分 解 . 
for i=1:m 
d(i) =1 
end 
for j=i:n 
fori=m:—-l:j+1 
(a, B, type] = fast.givens(A(i — 1 : i,j), d(¢ — 1 : 4)) 
if type = 1 


T 
ar | A(i—1:i,j:m) 


else 


end 
end 
本 算法 需要 2n? (m — n/3) 个 flop. 正如 上 一 节 所 提 到 的 ， 有 必要 防止 上 述 的 快速 
Givens 算法 出 现 溢出 . 这 意味 着 如 果 M, D 和 A 的 元 素 变 得 很 大 时 要 定期 对 它们 
加 权 缩 小 . 
如 果 要 对 一 个 窄带 状 矩阵 做 QR. 分 解 , 则 快速 Givens 方法 就 很 有 吸引 力 , 因 
为 它 不 涉及 平方 根 运算 .( 在 窄带 状 矩阵 问题 上 LDLT 比 Cholesky 分 解 更 令 人 喜 
xk, 这 出 于 相同 的 原因 , 参见 4.3.6 节 ). 具体 地 说 , 如 果 A c Rn" 的 上 带宽 为 q, 
下 带宽 为 p, 则 QTA = RR 的 上 带宽 为 p + 4. 在 这 种 情况 下 ，Givens QR HAH 
O(np(p - q)) 个 flop 和 O(np) 次 平方 根 运 算 . 因此 , 如 p, q «Kn, 平方 根 运 算 在 整个 
计算 中 占 相 当 大 的 比例 . 
5.2.6 QR 分 解 的 性 质 


上 面 的 算法 “证 明 ” 了 QR 分 解 的 存在 . 现在 我 们 讨论 Q 的 列 向 量 与 ran( 人 4) 
和 ran(4)+ 的 关系 以 及 考察 QR 分 解 的 唯一 性 问题 . 
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定理 5.2.1 如 果 A = QR 是 一 个 列 满 铁 阵 A c RT 的 QR PM, B. 

A= [ai a4], Q 二 [gi,… ,gm] 是 一 个 按 列 的 划分 , 则 
span{fal…… ak} = span{qi; ,gk}, k=1:n. 
确切 地 说 , 如 果 Q, = Q(1:m,1:n) $2 Q4 2 Q(1 :m,n 1: m), 则 
ran(A) =ran(Q,), ran(A)+ = ran(Q;) 

BA A=Q,Ri, 其 中 Ri = R(1:n,1:m). 

证 明 比较 4 = QR 的 第 列 , 我 们 有 

k 


ay = Y ring € span{ai,-- ,Qk}. (5.2.2) 

i=1 
E, span(a; , ty ax) Cspan(q:, tt , Qk}. 然而 ， 由 rank(A) =n 推 知 span{al, t3 ak} 
的 维 数 为 k, 故 必 等 于 span(n q), 定理 的 其 余部 分 显然 成 立 : 


RE Q = Q(1: m,1:n) MQ, 2 QU : mnl: m) 可 用 Q 的 因子 形式 很 
容易 地 求 出 . 

如 果 A = QR E A 的 QR 分 解 , 其 中 A € R”, B. m > n, 则 我 们 称 
A 二 Q(,1:n)R(:n,1:n) WE QR 分 解 , 下面 的 结论 给 出 了 窄 QR 分 解 的 唯一 
性 . 

定理 5.2.2 BÈ ACERT? 是 列 满 秩 的 , WE QR OM 

A-Q,R; 
是 唯一 的 , 其 中 Q ERY” 的 列 向 量 相互 正 交 , Ri 是 对 角 元 素 大 于 0 的 上 三 角形 
EK. 而 且 Ri = GT, RP G X AT A 的 下 三 角 Cholesky 因子 . 

证 明 oth ATA = (Q RY (QR) = RT R, 可 以 看 出 G= RT RATAN 
Cholesky 因子 . 从 定理 4.2.5 可 知 此 因子 是 唯一 的 . AF Q = AR, HQ, 也 是 
唯一 的 . 口 

A 中 的 扰动 是 如 何 影 响 Q 和 R 的 呢 ? 为 回答 这 个 问题 , 我 们 需要 将 条 件数 
推广 到 矩阵 .回想 在 2.7.3 节 中 , 一 个 非 奇异 方 阵 的 2 范 数 的 条 件数 是 最 大 奇异 值 
和 最 小 奇异 值 的 比 . WTR ANE, 我 们 继续 用 这 样 的 定义 ; 

Omax(A 

erit 

如 果 A 的 列 是 接近 相关 , 则 ka (A) 会 很 大 . Stewart(1993) 证 明了 4 中 O(c) 的 相 
对 误差 会 导致 RA Q 中 Oleka(4)) 的 相对 误差. 


5.2.7 ”经典 Gram-Schmidt 算法 


现在 我 们 讨论 直接 计算 QR 分 解 4 = QR, 的 两 种 不 同方 法 . WR rank(A) = 
n, 则 从 方程 (5.2.2) 可 解 出 qr: 


k—1 
w= ( - m) Jra 
i=1 


AcR?"*^, rank(A) 2 n => kA) = 


这 样 我 们 可 以 认为 g 是 在 k-1 
Zk = Ok 一 So rindi 
方向 上 的 单位 2 范 数 向 量 . 为 保证 ax € spanfan axa}, 我 们 选取 
Tik = ql Gr, t=1:k-1. 
由 此 导出 解 4 = QIR 的 经 典 Gram-Schmidt(CGS) 算法 : 
R(1,1) = ||AG, 31 
Q(:, 1) = A(, 1)/R(1, 1) 


fork =2:n 
R(1:k—1,k)=Q(:m,1:k -1)° A(:m,k) 
z= A(1:m,k)—Q(1:m,1:k — 1) R(1: k — L,E) (5.2.3) 
R(k, k) = |lzllz 


Q(1:m,k) = z/ R(k, k) 
end 


在 CGS 的 第 大 2p, ÆR Q 和 R RZ kN. 
5.2.8 ”修正 Gram-Schmidt 算法 


可 异 , CGS 的 数值 特性 非常 坏 , 因为 所 计算 的 a; 之 间 的 正 交 性 常常 会 严重 损 
失 . 有 意思 的 是 , 改变 计算 的 次 序 , 便 得 到 所 谓 的 修正 Gram-Schmidt(MGS), 这 是 
一 个 可 靠 得 多 的 计算 方法 . 在 MGS AIS k 2b, 需要 求 出 Q 的 第 上 列 (用 qx 表示 ) 
A REE k íT (用 rT 表示 ). 为 导出 MGS 方法 , 定义 矩阵 AM < Rmx(m-ktD) 为 


k—1 n 
A-Y art =} ar =[0 AC]. (5.2.4) 
i=1 ixk 


1 n-k] 


则 rie = lizlas de = z/Tkk 以 及 (resi oi Tka) = qi B. 然后 计算 外 积 ARTY = 
B — qk(rkkai Tin) 并 开始 下 一 步 . 至 此 , 我 们 完成 了 MGS 第 有 步 的 描述 . 

算法 5.2.5 (修正 Gram-Schmidt) #2 A c 了 mxn, rank(A) =n, 本 算法 
计算 分 解 A=Q,Ri, 其 中 Q € Rmx", 其 列 相互 正 交 , Ri < 了 "xm 是 上 三 角形 短 
EE. 


因此 ， 如 果 


for k =1:n 
R(k, k) = || AC : m, K)ll 
Q(1 : m, k) = A(1 : m, k)/ R(k, k) 
for j=k+1:n 
R(k, j) = Q(1 : m, kK) AQ : m, j) 
A(1 : m, j) = A(1: m, j) - Q(1 : m, kK) R(k, J) 
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end 
end 
本 算法 需 2mn2 个 flop. 把 Q, 和 R 都 储存 于 A 是 不 可 能 的 , MGS 计算 的 典型 
安排 是 使 4 被 Q, Aim, HR R 储存 在 另外 的 数组 中 . 


5.2.9 ”工作 量 和 精度 


如 果 对 求解 ran(A) 的 正 交 基 感 兴 趣 , 那么 用 Householder 方法 产生 因子 形式 
的 Q fS 2mn? — 2n3/3 个 flop, 计算 Q 的 前 ” 列 还 需要 2mn? — 2n?/3 个 flop. 
(这 只 需 注意 (5.1.5) 中 Q 的 前 n 列 .) 因此 , 对 于 找 ran(4) 的 正 交 基 , MGS 的 
效率 要 比 Householder 正 交 化 高 一 倍 .， 但 是 ，Bj5rck(1967) 证 明了 MGS 计算 的 
Qi = às , Gn] 满足 

QI = I + Emos, ||Ewasll2 ~ urz(A), 
而 Householder 方法 计算 的 结果 是 
Q1Q,=I+En, |Enl su. 


因此 , 如 果 正 交 性 至 关 重 要 , 则 仅 当 被 正 交 化 的 向 量 独立 性 强 的 时 候 , 才 可 用 MGS 
REKE. 

同时 我 们 指出 由 MGS 计算 出 的 三 角 因 子 RW ||A-QR| = ul Al, 且 存 
在 一 个 具有 完全 正 交 列 向 量 的 Q 使 得 ||A — QR ~ u|| AI. 参阅 Higham(1996, 第 
379 页 ). 

例 5.2.1 如 果 将 修正 Gram-Schmidt 应 用 于 
1 1 
10? 0 | , ka(A) = 1.4 x 10°, 
0 10-3 


A= 


采用 6 位 有 效 数 计算 , 则 
1.000 00 0 


0.001 — —0.707 107 
0 0.707 100 


5.2.10 X FSZABEE QR 分 解 的 一 点 说 明 


本 书 中 我 们 给 出 的 大 部 分 算法 都 有 其 适用 于 复 和 矩阵 的 形式 , 它们 可 从 相应 的 基 
于 实数 的 算法 直接 得 到 . (但 这 并 不 等 于 说 在 实现 层次 上 一 切 都 非常 容易 和 显 而 易 
JL). 为 表明 这 一 点 , 我 们 简略 给 出 复 矩 阵 的 QR 分解 算 法 . 

首先 讨论 Householder 变换 的 情形 , 假定 0 Z zx € Cr A zi = re, 其 中 
r,0 € R. WB v = z + e|z|;e:, P = In — vv", 8 = 2/v"v, WW] Px = Fe ||a\I2e1 
(参见 习题 5.1.3). 为 了 保证 计算 的 稳定 性 , 符号 的 选取 应 使 lollo BAK. 


[à Ga] = 
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对 A € Cmxn,m > n 进行 上 三 角形 化 , 按 算法 5.2.1 进行 ， 在 第 7 步 , 将 
A(j : m, j) 的 次 对 角 线 部 分 消 为 0: 


for j=1:n 

v= z + e |z||?e1, 这 里 x = re'? 

B — 2/vB fv 

A(j :m,j:n) = (Iam jai — BwvE)A(j : m, j : n) 
end 


此 约 化 需 8n?(m—n/3) 个 实 flop, 这 大 约 为 执行 算法 5.2.1 的 四 倍 . 如 Q = Pi P, 
是 Householder 变换 的 乘积 , 则 Q EHEHE QTA = Re C"*" BR LEACH 
阵 . 


习 题 


5.2.1 ”改写 Householder QR 算法 , 使 得 它 能 有 效 地 处 理 A c R” 是 下 带宽 为 p, 上 
带宽 为 4 的 情形 . 

5.2.2 ”改写 Householder QR 算法 , 使 其 计算 分 解 A = QL, 其 中 工 是 下 三 角形 矩阵 ， 
Q REHM. Be A 是 方 阵 ， 这 涉及 重 写 Householder 向 量 函数 v = house(z) 使 得 
(I 一 2vvT/vTvw)z 除 最 后 一 个 分 量 外 均 为 0. 

5.2.3 ”改写 Givens QR 分 解 算法 使 得 在 对 角 线 上 引入 零 元 , 即 按照 顺序 将 (m, 1), (m 一 
1, 1), (m, 2), (m — 2, 1), (m — 1,2), (m, 3) 等 元 素 变 为 0. 

5.2.4 ”改写 快速 Givens QR 分 解 算 法 使 得 它 能 有 效 处 理 4 是 nx n SE 
形 , 假定 A 的 次 对 角 线 、 对 角 线 、 超 对 角 线 分 别 储存 于 e(1:n—1),a(1: m), f(1: n — 1) 中 . 
设计 你 的 算法 , 使 这 些 向 量 被 D 的 非 零 部 分 覆盖 

5.2.5 ”假设 工 eR?” (mz n) 是 下 三 角形 矩阵 , 证 明 Householder 和 矩阵 Hie Han 
可 以 确定 一 个 下 三 角形 矩阵 Li c R"*^, 满足 


Li 
Hn- HiL = . 
0 
提示 : 6 x 3 矩阵 的 第 二 步 涉及 确定 Ho 使 得 
x 0 0 x 0 0 
x x 0 x x 0 
x X x x x x 
Ha x x of | x 0 Of’ 
x x 0 x 0 O0 
x x 0 x 0 0 


即 只 有 第 一 行 和 第 三 行 保持 原样 . 
5.2.6 ”证 朋 , 如 果 
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H. A 是 列 满 秩 的 , 则 min || Ax — bli? = ladh? — (v*d/lvllz)?. 

5.2.7 ”假定 A € R"*" Al D = diag(di,--- ,dn) € R"*^, 给 出 一 个 方法 来 构造 一 个 正 
TAE Q 使 得 QTA 一 DQ" = R 是 上 三 角形 矩阵 . 不必 考 虑 效率 问题 一 一 这 只 是 QR 分 
解 的 一 个 小 练习 . 

5.2.8 ”给 出 一 个 方法 计算 乘积 4 = Ap- AoA. 的 QR 分解, 但 不 显 式 地 将 Al,.… , Ap 
AAR. 提示 : 在 p=3 的 情形 , Q1A— Qi 43Q2Q3 A2Q,Q7 Av, WEES Q, 使 得 
Qi (A:Q,_1) 是 上 三 角形 矩阵 (Qo = I). 

5.2.9 BE ACR”, E 是 将 单位 矩阵 In 的 行 逆序 排列 得 到 的 置换 矩阵 (BN 4.7 节 
中 提 到 的 交换 矩阵 ), (a) 证 明 如 R c R^*^ 是 上 三 角形 矩阵 , 则 L = ERE 是 下 三 角形 矩阵 . 
(v) 指出 如 何 计 算 正 交 逢 阵 Q c R^*" 和 下 三 角形 矩阵 L c R"*" 使 得 A = OL, 假定 已 有 
QR 分 解 的 算法 . 

5.2.10 A c R?*^ 上 的 MGS 与 
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上 的 Householder QR 的 第 一 步 在 数值 上 是 等 价 的 , HHO, 是 nxn WREE. 证 明 以 上 两 
种 方法 的 第 一 步 执 行 完 后 上 述 命题 成 立 . 

5.2.11 “逆转 算法 5.2.5(MGS QR) 中 循环 的 次 序 使 得 R 是 按 列 计算 的 . 

5.2.12 ” 写 一 个 复 和 矩阵 的 Givens QR 分 解 方法 , 参考 习题 5.1.5, HP REM Givens 旋 
转 是 主题 . 能 否 组 织 计算 过 程 使 得 R 的 对 角 元 非 负 ? 


本 节 注 释 与 参考 文献 


应 用 Householder 变换 来 求解 LS 问题 的 思想 由 下 文 提出 : 

A. S. Householder(1958). “Unitary Triangularization of a Nonsymmetric Matrix,” J. ACM. 
5, 339-342. 

有 实施 的 细节 见 : 

P. Businger and G. H. Golub(1965). “Linear Least Squares Solutions by Householder Trans- 
formations,” Numer. Math. 7, 269—276, See also Wilkinson and Reinsch (1971, 111- 
118.) 

G. H. Golub(1965). “Numerical Methods for Solving Linear Least Squares Problems,” Nu- 
mer. Math 7, 206-216. 

其 于 Givens 旋转 的 QR 分 解 之 主要 文献 包括 : 

W. Givens(1958), “Computation of Plane Unitary Rotations Transforming a General Matrix 
to Triangular Form,” SIAM J. Appl. Math. 6, 26-50. 

M. Gentleman(1973). “Error Analysis of QR Decompositions by Givens Transformations,” 
Lin. Alg. and Its Appl. 10, 189-197. 
关于 如 何 将 QR 分 解 应 用 于 大 量 的 统计 计算 问题 中 的 讨论 参见 : 

G. H. Golub(1969), “Matrix Decompositions and Statistical Computation,” in Statistical 
Computation, ed. R. C. Milton and J. A. Nelder, Academic Press, New York, pp. 
365-397 
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当 A 有 扰动 时 , Q 和 R 的 变化 在 下 文中 讨论 : 

G. W. Stewart(1977), “Perturbation Bounds for the QR Factorization of a Matrix,” SIAM 
J. Num. Anal. 14, 509-518. 

H. Zha(1993). “A Componentwise Perturbation Analysis of the QR Decomposition,” SIAM 
J. Matriz Anal. Appl. 4, 1124-1131. 

G. W. Stewart (1993). “On the Perturbation of LU Cholesky, and QR Factorizations,” SIAM 
J. Matriz Anal. Appl. 14, 1141-1145. 

A. Barrlund(1994). “Perturbation Bounds for the Generalized QR Factorization,” Lin, Alg. 
and Its Applic. 207, 251-271. 

J. -G Sun(1995). “On Perturbation Bounds for the QR Factorization,” Lin. Alg. and Its 
Applic. 215, 95-112. 
最 主要 的 结论 是 : Q 和 RR 的 变化 之 界 是 4 的 条 件数 与 A KARR. 组 织 计 

算 过 程 可 使 得 Q 的 元 素 连续 地 依赖 4 的 元 素 , 此 问题 的 讨论 见 : 

T. F. Coleman and D. C. Sorensen(1984), “A Note on the Computation of an Orthonormal 
Basis for the Null Space of a Matrix," Mathematical Programming 29, 234-242. 

有 关 Gram-Schmidt 过 程 的 参考 文献 包括 : 

J. R. Rice(1966). “Experiments on Gram-Schmidt Orthogonalization,” Math. Comp. 20, 
325-328. 

A. Bjórck(1967). "Solving Linear Least Squares Problems by Gram-Schmidt Orthogonal- 
ization,” BIT 7, 1-21. 

N. N. Abdelmalek(1971). *Roundoff Error Analysis for Gram-Schmidt Method and Solution 
of Linear Least Squares Problems," BIT 11, 345-368. 

J. Daniel, W. B. Gragg, L. Kaufman, and G. W. Stewart (1976). “Reorthogonalization and 
Stable Algorithms for Updating the Gram-Schmidt QR Factorization,” Math. Comp. 
30, 772-795. 

A. Ruhe(1983). “Numerical Aspects of Gram-Schmidt Orthogonalization of Vectors,” Lin. 
Alg. and Its Applic. 52/53, 591-601. 

W. Jalby and B. Philippe(1991). “Stability Analysis and Improvement of the Block Gram- 
Schmidt Algorithm,” SIAM J. Sci, Stat. Comp. 12, 1058-1073. 

A. Bjórck and C. C. Paige (1992). “Loss and Recapture of Orthogonality in the Modified 
Gram-Schmidt Algorithm,” SIAM J. Matriz Anal. Appl. 13, 176—190. 

A. Bjórck(1994). “Numerics of Gram-Schmidt Orthogonalization,” Lin. Alg. and Its Applic, 
197/198, 297-316. 
结构 化 的 矩阵 之 QR 分解 本 身 也 是 结构 化 的 , 参阅 : 

A. W. Bojanczyk, R. P. Brent, and F. R. de Hoog (1986). “QR Factorization of Toeplitz 
Matrices," Numer. Math. 49, 81-94. 

S. Qiao (1986). “Hybrid Algorithm for Fast Toeplitz Orthogonalization,” Numer. Math. 
53, 351-366. 

C. J. Demeure(1989). “Fast QR Factorization of Vandermonde Matrices,” Lin. Alg. and Its 
Applic. 122/123/124, 165-194. 
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L. Reichel(1991), *Fast QR Decomposition of Vandermonde-Like Matrices and Polynomial 
Least Squares Approximation,” SIAM J. Matriz Anal. Appl. 12, 552-564. 

D. R. Sweet (1991). “Fast Block Toeplitz Orthogonalization,” Numer. Math. 58, 613-629. 
5 QR 分解 相 关 的 许多 高 性 能 计算 问题 之 讨论 可 见 : 

B. Mattingly, C. Meyer, and J. Ortega(1989). “Orthogonal Reduction on Vector Comput- 
ers,” SIAM J. Sci, and Stat. Comp. 10, 372-381. 

P. A. Knight(1995). “Fast Rectangular Matrix Multiplication and the QR Decomposition,” 

Lin. Alg. and Its Applic. 221, 69-81. 


5.3 WEAR) LS 问题 


考虑 如 下 问题 : 找到 向 量 zx es Rn 使 得 Ar = b, HP RGM A comen 
和 观察 向 量 b eR” 给 定 , m > n. 如 果 方 程 个 数 多 于 未 知 量 个 数 ,我们 称 方程 组 
Ac =b 是 超 定 的 . 超 定 方程 组 通常 没有 精确 解 , 因为 它 要 求 b 必须 是 R” 的 真子 
空间 ran(A) 的 一 个 元 素 . 

这 一 事实 启发 了 我 们 , 可 以 考虑 对 适当 选取 的 p, BME || Ax — bli. 不 同 的 范 
数 给 出 不 同 的 最 优 解 . 例如 A = 1,1, 1], b = [b1, 02, b3]", FFA bı > be > b3 2 0, 
则 可 以 验证 : 


p= 1 => ropt = be, 
p=2 > Lopt = (bi + bo + b3)/3, 
p = oo => Lope = (bı + b3)/2. 

在 1 范 数 和 oo 范 数 情况 下 , 极 小 化 工作 变 复杂 了 , 因为 对 于 这 些 p (B, 函数 
f(z) = |Az — ble 是 不 可 微 的 但 是 在 这 方面 已 取得 长 足 的 进步 , 已 有 一 些 好 的 
方法 可 用 于 1 范 数 和 oo 范 数 的 极 小 化 ， 参阅 Coleman and Li(1992), Li(1993) 和 
Zhang(1993). 

与 一 般 的 p 范 数 极 小 化 相 比 , 最 小 二 乘 (LS) 问题 

min || Ax — bll2 (5.3.1) 
更 容易 , 这 由 于 以 下 两 个 原因 : 
e (2) = ;lAe-bld 是 z MUT AGREE, 故 力 取 极 小 值 时, 梯度 方程 Vp(z) = 0, 
这 是 一 个 很 容易 有 结构 的 对 称 线性 方程 组 , 4A 是 列 满 秩 时 , 它 是 正定 的 ， 
e 2 范 数 在 正 交 变 换 下 不 变 , 这 意味 着 我 们 可 以 寻找 一 正 交 撼 阵 @ 使 得 等 价 
的 问题 |(Q7 A)z ~ (ATb)la 的 最 小 化 容易 求解 
本 节 中 在 我 们 致力 于 寻求 在 A 为 列 满 秩 时 这 两 种 求解 方法 . 我 们 将 详细 给 出 并 比 
较 基于 法 方程 的 方法 和 基于 QR 分 解 的 方法 . 


5.3.1 MAHLA 
假定 rcR'zcR", MacR, 考虑 等 式 
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[A(x + az) — Bll} = || Aw — b||} + 2az7 AT (Aa — b) + a? ||Az|[3, 

其 中 A € Rmx" fl b € R7. WER a 是 LS 问题 (5.3.1) 的 解 , 则 必 有 AT (Ag — b) = 0. 
否则 , WIE z = —AT(Ax — b), HAE a 足够 小 则 会 得 到 一 个 相 矛 盾 的 不 等 式 
14(z+az) 一 加 < || Aw 一 加 2. 我 们 还 可 得 出 绪论: 如 e 和 zw 十 az 都 是 LS 的 极 
小 解 , 则 z € null( A). 

因此 , 如 果 A 是 列 满 秩 的 , 则 存在 一 个 唯一 的 LS 解 ars, 它 是 对 称 正定 线性 
方程 组 

AT Axis = ATb 
的 解 . 这 方程 称 为 法 方程 组 . 由 于 Vole) = AT (Az - b), 其 中 (x)= sae — bll2, 
因此 求解 法 方程 组 等 同 于 求解 梯度 方程 Vo = 0. 我 们 称 
rts =b — Asis 
为 极 小 剩余 , 用 
pus = ||4zrs — bll2 

表示 其 大 小 . 注意 , 如 果 prs 很 小 , 则 我 们 可 从 A 的 列 “ 预 测 ” 出 b. 

到 目前 为 止 我 们 一 直 假 设 4 e Rn. 是 列 满 秩 的 , 该 假设 在 5.5 节 将 去 掉 . 然 
TU, 即使 rank(4) = n, 当 A 接近 秩 亏 时 , 上 面 给 出 的 方法 也 会 产生 麻烦 . 

当 评 估 一 个 LS 计算 解 ?rs 的 质量 时 , 应 考虑 两 方面 问题 : 

* ĉis 有 多 靠近 as? 

e 5 ris — b — Axis 相 比 , fis = b — ASts 有 多 小 ? 
在 不 同 的 应 用 中 这 两 条 标准 的 重要 性 也 不 尽 相同 . 但 任何 情况 下 都 应 知道 4 A b 
的 扰动 是 如 何 影响 zrs 和 ris 的 . 直觉 告诉 我 们 , 如 果 A 的 列 是 接近 相关 的 , 那 
HES BRM. 

例 5.3.1 假定 


1 0 0 0 1 0 
A=|10 10€ |, A=] 0 0 , b=]0], b=] 0], 
0 0 0 10-8 1 0 
A 


zis Fe dis 2344 || Aw — blja Fe (A + 8A)z — (b+ ób)llo 取得 极 小 值 , rus 和 frs 
分 别 是 对 应 的 极 小 余 量 , 则 


zis=|! fis = i 
s= 0|: 71357 | 9.9999 x 104 |" 
0 0 
ris=| 0 |, fis | -0.9999 x 107? |. 
1 0.9999 x 10? 
因为 ka(4)] = 10°, AMA 


xs — orsllz ~ 0.9999 x 10° < x (Ay? lA 


= 10? x 1078, 
llzrsil2 [Alle 
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\l?fLs — rrsll2 |d Alle 
ilbll2 1 4 
这 个 例子 的 启示 是 zrs 的 灵敏 度 依赖 于 kz(4)2, 本 节 的 最 后 我 们 将 研究 LS 问题 
的 扰动 理论 并 会 重新 提 到 ka(4)? 因子 . 
5.3.2 ”法 方程 组 方法 


求解 列 满 秩 的 LS 问题 应 用 最 广 的 方法 是 法 方程 组 法 . 

算法 5.3.1 (法 方程 组 法 ) ”给 定 ACR™” 具有 性 质 rank(A) =n 和 be R”, 
本 算法 计算 LS FM min || Aa — blo 的 解 zis: 

iX C= ATA 的 下 三 角 部 分 

= AT. 

计算 Cholesky 分 解 C = GG". 

# Gy = d fe G' mrs = y. 

本 算法 需要 (m + n/3)n? 个 flop. 法 方程 组 法 基于 许多 标准 算法 : Cholesky 分 解 ， 
和 矩阵 与 算 阵 相 乘 , 矩阵 与 向 量 相 乘 等 , 因此 很 方便 . 将 m x m 数据 矩阵 4 压缩 于 一 
个 较 小 的 n x n 的 叉 积 矩阵 C. 的 做 法 很 可 取 . 

下 面 我 们 考虑 法 方程 组 的 计算 解 2rs 的 精度 . 为 清晰 起 见 , 假定 在 形成 C = 
ATA 和 d — ATb 时 没有 舍 入 误差 (这 里 的 内 积 计算 部 分 通常 采用 双 精 度 的 累加 
计算 , 因而 上 述 假 定 并 非 很 不 合理 )， 从 我 们 所 知 的 关于 Cholesky JR S APER 
(J 4.2.7 节 ) 得 到 


Ri 0. 7070 x 107? € ko (A) Allo = 108 x 1075. 


(AT A + E)ĉrs = ATb, 
其 中 |El © ul AT lla] All ~ ul AT Allo. 因此 我 们 期 望 
OP ~ Ri UK (AT A) = = uk2(A)?. (5.3.2) 
可 见 , 法 方程 组 计算 解 的 精度 依赖 于 条 件数 的 平方 . 这 与 例 5.3.1 是 吻合 的 , 在 5.3.9 
节 中 将 给 出 更 详细 的 结论 . 
例 5.3.2 ”要 指出 的 是 , 形成 AT A 的 过 程 会 导致 严重 的 信息 丢失 . 


1 1 2 
4= | 10 0 , b= | 10° 
0 1073 1073 


A) «2(A) = 1.4 x 103, ais = ji 1]7, 且 prs = 0. Jo X RI VA 10 Ak, KE:-6 
的 有 限 位 数 计算 , 法 方程 组 法 就 会 在 计算 过 程 中 产生 除 零 现象 , 这 是 由 于 
TAL 1 1 
f(A7A) = | - | 
是 奇异 的 ， 另 一 方面 ， 如 果 采 用 7 位 数 运算 , 则 ĉis = [2.000 001, 0/7, lês 一 


zLs|jz/llzrsjz ~ uso (A)". 
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5.3.3 用 QR 分 解 求解 LS 问题 


设 A ERmx",m > n 且 be Rm SE, 假定 已 计算 得 一 个 正 交 矩 阵 Q c Rmxm 
满足 


Q'A-R- | » | n (5.3.3) 


是 上 三 角形 矩阵 . 如 果 


c n 
Q "= | d | m-n 
则 对 任意 z eR 有 
|| Aa — bli} = |QT Az — Q*b|5 = || Ria — cll + lidl. 
显然 , 如 果 rank(A) = rank(R1) = n, Wary 由 上 三 角 方 程 组 Ria = c 定义 . 注 
意 到 
prs = ||dila 
我 们 看 出 , 一 旦 有 了 A 的 QR HE, 则 满 秩 的 LS 问题 就 很 容易 求解 . 细节 依赖 于 
精确 的 QR 分 解 . 如 果 使 用 Householder 矩阵 且 对 5b 采用 QT 的 因子 形式 , 就 得 到 
如 下 算法 . 
算法 5.3.2 (Householder LS 解法 ) ”如果 ACR” 是 列 满 秩 的 , E bc 
R”, 本 算法 计算 向 量 xis € R” FF || Axis — blj 极 小 化 ， 
利用 算法 5.2.1 RAH QR 分 解 并 履 盖 A. 
forj—1:n 
v(j) 2 1;v(j +1: m) = A(j -1:m,j) 
b(j : m) = (Im—j41 — BjvvT )b(j : m) 
end 
用 向 后 消去 法 求解 R0: n1: n)zrs = b(1:n). 
用 这 种 方法 求解 满 秩 LS 问题 需要 2n?(m - n/3) 个 flop. 更 新 b 所 需 的 O(mn) 个 
flop 和 向 后 消去 所 需 的 O(n?) 个 flop 与 分 解 4 的 工作 量 相 比 是 微不足道 的 . 
可 以 证 明 , 计算 得 的 2rs 是 


min ||(A + &A)z — (b + 5b)||2 (5.3.4) 

的 解 , 其 中 
|S Alle € (6m — 3n + 41)nul| Alle + O(u’), (5.3.5) 
16bll < (6m — 3n + 40)nu||b|| + O(u?). (5.3.6) 


这 两 个 不 等 式 是 Lawson and Hanson(1974, 90 页 ) 建立 的 , 并 且 指 出 2rs 满足 一 个 
“附近 ”的 LS 问题 (在 建立 LS 扰动 理论 之 前 , 我 们 还 不 能 讨论 jLs 的 相对 误差 ， 
该 理论 很 快 就 要 讨论 ). 要 指出 的 是 , 如 果 应 用 Givens QR 分 解 , 也 有 类 似 的 结果 成 
X. 
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5.3.4 ”接近 秩 亏 损 有 时 算法 失败 


如 同 法 方程 组 法 , 如 果 rank(A) < n, 则 求解 LS 问题 的 Householder 方法 就 
会 在 向 后 消去 阶段 失败 . 数值 上 , 只 要 kA) = 2(R) = 1/u 就 会 出 现 麻烦 . 而 法 
方程 组 法 , — E. r(A) 处 于 1/./u 的 邻 域 中 , Cholesky 分 解 能 否 完成 就 可 能 出 问题 
(参见 例 5.3.2). 因此 Lawson and Hanson(1974, 126~127 页 ) 宣称 对 于 固定 的 机 器 
精度 , 应 用 Householder 正 交 化 方法 可 求解 更 多 类 型 的 LS 问题 . 


5.3.5 MGS 方法 的 一 点 说 明 


实质 上 , MGS FETA QR 分 解 A = Q Ri. 对 于 解 列 满 秩 的 LS 问题 , 这 
就 足够 了 , 因为 它 将 法 方程 组 (4T74)z = ATb 变换 成 上 三 角 方程 组 Rie = QTd. 
但 当 QTo 显 式 地 形成 时 , 分 析 此 方法 却 引出 一 个 kz(4)2 项 . 这 是 由 于 所 计算 的 因 
T Q, 满足 107 Q, — I. |; ~ ura (A), 这 在 5.2.9 节 中 已 提 到 . 
然而 , 如 将 MGS 应 用 于 增 广 和 矩阵 
A,=[A tj-lQi eui 4 
则 z = QYb， 按 这 种 方法 计算 QTO RUM Ries = z 所 得 的 LS 解 ais 与 用 
Householder QR 方法 得 到 的 解 一 样 好 . 也 就 是 说 , 形 如 (5.3.4). (5.3.6) 的 结果 是 适 
用 的 , 参见 Björck and Paige(1992). 
需要 注意 的 是 , 因为 MGS 总 是 对 m 维 向 量 进行 运算 , 而 Householder QR 处 
理 更 短 的 向 量 , 故 前 者 比 后 者 开销 要 稍 大 一 些 . 
5.3.6 LS 问题 的 快速 Givens 解法 
也 可 以 应 用 快速 Givens 变换 来 解 LS 问题 . 假定 MTM = D RX Aas 
S n 
M 4= | o mi nm 
是 上 三 角形 第 阵 . 如 果 
M"b = | c | n 
m 


— $1 c 
pelle eli] 
显然 通过 解 非 奇异 的 上 三 角 方程 组 Sic = c 可 得 到 es. 

可 以 证 明 , 用 这 种 方式 得 到 的 计算 解 ais 在 (5.3.4)~(5.3.6) 意义 下 是 附近 的 
LS 问题 的 解 ， 这 看 上 去 很 惊奇 , 因为 在 计算 过 程 中 会 出 现 大 数 .每 经 过 一 次 快速 
Givens 变换 , 加 权 和 矩阵 D 中 的 元 素 就 可 能 翻 倍 . 然而 , D 的 增 大 正好 可 由 M 的 
增 大 来 补偿 , 因为 在 整个 计算 中 D-12M 总 是 正 交 的 . 正 是 这 一 现象 才 使 人 们 能 
得 到 很 好 的 误差 分 析 . 


则 对 于 任意 € R^ 有 


\| Aa — bia = |D^ I ^ MT (Az — b)l = 


2 


2 
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5.3.7 LS 问题 的 灵敏 性 


下 面 介 绍 扰 动 理论 , 它 有 助 于 比较 LS 问题 的 法 方程 组 法 和 QR 分 解法 . 下 面 
的 定理 考虑 LS 问题 的 解 以 及 剩余 是 如 何 受 4 和 b 的 变化 影响 的 . 为 此 , 要 确定 
LS 问题 的 条 件数 . 

在 分 析 过 程 中 需 用 到 两 个 显而易见 的 事实 : | 

|| Alla||(A™A)~* ATI = £2(4), 
ILAISI CAT A) lla = sa CAP". (5.3.7) 

这 两 个 方程 可 用 SVD 来 验证 . 

定理 5.3.1 假定 xz,r,Z 和 FF 满足 


|| Ax -blls=min r= b- Agr 
(A+ SA)& — (b--ób)|; = min, # = (b+ ôb) —(A+5A)E 
XP Af 6A BF R” Bm>n,04 b,ób BF R”. do 


-max { (Alle öble} os (A) 
tU RR E < 


n(6) — £15 
sin(@) = ibil, #1, 


| 
其 中 prs = || Awrs — blo, Wl 


lê- alle 2ka(4) | n > ; | 
lIzll2 <e { cos(0) + tan(9)K2(A) } + Oe") (5.3.8) 
a c(h + 262(A)) min (Lom — n) + O(€) (5.3.9) 


证 上 明 BEM f MW E= 6h/e 8 f = 6b/e, 通过 假设 |All < on(A) 
和 由 定理 2.5.2, 对 于 所 有 ft e [0,7], 有 rank(A+tB) — n. 由 此 推出 


(A+tE)T(A+tE)z(t) = (A+tE)"(6+ tf) (5.3.10) 
的 解 z(t) 对 所 有 t e (0, 5] 是 连续 可 微 的 . 由 于 x = z(0) M ê= ele), 有 
& = a + ex(0) + O(c’). 
假设 5 关 0 和 sin(0) 41 保证 了 s 是 非 零 的 , 故 


lê- ala 2) 
leo ^^ Well 


为 了 对 (lO) lo 限界 , 对 (5.3.10) RFA t= 0, 得 到 
BT4z 二 4TBz+A4T42(0) = AT f +E", 


+ O(&?). (5.3.11) 


B 
i &(0) = (AT A)! AT(f — Ex) + (AT A) SET. (5.3.12) 
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将 此 结果 代入 (5.3.11), 取 范 数 , 利用 很 易 验证 的 不 等 式 | 川 。< lolo 和 Elz < 
|LAllo, 我 们 得 到 


lê- ll tat ibl 
I <ef Alala A) a'e (Taras 1) 


"ial s A A715] + O(e?). 
由 于 AT(Az — b) =0, Ax 与 Az-b 是 正 交 的 ， 故 


b- Azl[2 + | Aall3 = 他 人 


因此 ， 
IAllżllæl2 > [lbll3 — pts» 


于 是 利用 (5.3.7) 有 
ê — lla < efaa) ( 1 + 1) + K2(A)? sin(6) ! + O(e), 


llla cos(8) cos(8) 

因而 得 到 (5.3.8). 
为 证 (5.3.9), 定义 可 微 向 量 函 数 r(t) 为 
r(t) = (b+tf) — (A + tE)x(t), 

且 观 察 到 ” = r(0) M ê= r(e). 利用 (5.3.12) 可 以 证 明 : 

7(0) = (I — A(AT A)  AD(f — Ex) - A(AT A) E*r. 
由 于 Jê — rile =el|*(O)|l2 + O(e*), 我 们 有 

lê- rla _ ellFO)ll2 


B ~ m 0 
aram nam, (7 Allel 
«e[u - Aut oam (1+ SE) 
TA)" PLS | E2). 
LAIT A)" lol Al eb + ole?) 
由 
| Allallzlla = Alla A*blla < «a CA) blo: 
pus = IE — A(AT A)" AT)blj < |I — ACAT A) A" lallbllz, 
Ia - A(AT A) ATI = min(m — n, 1), 
故 知 不 等 式 (5.3.9) 成 立 . a 
(5.3.8) 的 上 界 的 一 个 有 趣 特 征 是 因子 
an(6)k;(A = PS A)?. 
ie = A Re 


由 此 可 以 看 出 , 对 非 零 剩余 问题 zLs 的 敏感 性 将 由 条 件数 的 平方 来 度量 . 而 余 量 的 
敏感 性 只 是 线性 地 依赖 性 于 kx2(4). 这 种 依赖 性 在 例 5.3.1 中 得 到 证 实 . 
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5.3.8 ”法 方程 组 法 与 QR 分解 的 比较 


将 解 LS 问题 的 法 方程 组 法 和 QR 分 解法 进行 比较 是 有 意义 的 . 回想 我 们 的 讨 
论 中 的 主要 观点 : 

e LS 问题 解 的 灵敏 性 大 致 与 ks(4) + pighe(A)? 成 正比 . 

e 法 方程 组 法 得 到 的 解 fig 的 相对 误差 依赖 于 条 件数 的 平方 . 

e QR 方法 (Householder, Givens, 细致 的 MGS) 解 一 个 附近 的 LS 问题 , 得 到 

”的 解 之 相对 误差 约 为 u(r2(A) 十 pLsk2(A)?). 
因此 , 可 得 出 结论 : 如 果 prs 很 小 且 ka(4) 很 大 , 则 法 方程 组 法 不 会 解 一 个 附近 问 
题 , 它 通常 给 出 比 稳定 的 QR 方法 精度 低 的 LS 解 . 相反 , 当 用 来 解 大 余 量 和 病态 问 
题 时 , 用 两 种 方法 得 到 差不多 的 不 精确 的 解 . 

最 后 , 我 们 给 出 关于 QR 法 和 法 方程 组 法 优 劣 的 另外 两 个 因素 : 

。 法 方程 组 法 在 m >n 时 只 需 进 行 一 半 的 运算 ， 且 不 需要 太 大 的 存储 空间 ， 

e 由 于 应 用 于 ATA 的 Cholesky 算法 会 在 执行 QTA = 尽 的 向 后 消去 过 程 

“了 之前” 中止, 因此 QR 方法 适用 于 更 大 的 和 矩阵 类 . 

相信 以 上 的 讨论 至 少 会 使 你 认识 到 选择 一 个 “正确 的 ”算法 是 多 么 困难 . 


习 题 
5.3.1 假定 AT Az = ATb,(ATA + F)@ = A?b,2|F|; < on(A)?. 证 明 如 果 r = 


b— Az, $ —b— Aĉ, ll ê -r = A(ATA + F) Fo 和 
| Fall 
|| Allz 

5.3.2 ”假定 AT Az = ATb, AT Aŝ = ATb + f, 其 中 中 fa < cullA”|l2|lbll2, H AAW 
列 满 秩 的 , 证 明 


ll? — |a < 2&2(A) 


el， 


læ — &ll2 2 A? llaliblla 
llli ATI) ` 
5.3.3 W Ac R?"*",m»ngyc R^", EX A — [A y| e R?^*C*9, EH (A) > 
o1(A) All onyi(A ) < on( A). 因此 对 和 矩阵 增加 一 列 后 , 条 件数 增 大 . 
5.3.4 $ AER?” (mè n),w c R^, EX 


»-[4] 


证 明 on(B) > on(A),01(B) < VIAE + loll. 因此 对 矩阵 增加 一 行 后 , 条 件数 可 能 变 大 或 
变 小 . 

5.3.5 (Cline 1973) 假定 A € R” 的 秩 为 n, 用 列 选 主 元 的 高 斯 消去 法 计算 分 解 
PA = LU, 其 中 L c R” 是 单位 下 三 角形 矩阵 , UCR” 是 上 三 角形 矩阵 , P c Rn" 
是 置换 矩阵 . 指出 如 何 利用 习题 5.2.5 的 分 解 来 寻找 一 个 向 量 z 6 R^ 使 得 ||Ez — Pbl 极 小 
化 . 证 明 如 果 Um = z, JU As -— bll REME. 证 明 当 m < 5n/3 时 , 从 浮 点 运算 的 角度 在 
求解 LS 问题 上 此 方法 比 Householder QR 方法 更 有 效 . 


< curz(A) 
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5.3.6 ”在 许多 统计 应 用 中 都 要 用 到 矩阵 C = (AT A) 71, 其 中 rank(4) = n, C KAA 
差 - 协 方差 秆 阵 . 假定 QR 分 解 4 = QR 可 行 , EH (a)C = (RTR)-!, (b) 给 出 一 个 算法 在 
n?/9 个 fop 内 求解 C 的 对 角 线 元 , (c) 证 明 


1 (1+ v7" Civ)/a? —vTCi/a 


T 
R=|* " | 2c-(R'R) 
—Ci;v/a Ci 


0 S 
其 中 Cl = (STS). 

(d) 利用 (c) 的 结果 , 给 出 一 个 算法 用 C 的 上 三 角 部 分 覆盖 R 的 上 三 角 部 分 , 算法 应 需 
2n*/3 flops. 

5.3.7 ”假定 A cR” 是 对 称 的 , > = b — Az, 其 中 r, box € Re TES. 指出 如 何 
计算 出 一 个 对 称 矩 阵 E c R?*^, fF Frobenius 范 数 极 小 化 且 (A + Ejs = b. 提示 , 利用 
(r r] 的 QR 分 解 ,注意 Ez =r — (QU EQ)(QTz) = QTr. 

5.3.8 ”指出 如 何 计算 最 接近 Toeplitsz 矩阵 的 循环 矩阵 . 用 Frobenius 范 数 定义 距离 . 
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更 有 效 , 例如 当 A 是 稀疏 矩阵 时 , 小 心地 应 用 Givens 旋转 可 以 把 填充 量 降 至 最 低 . 
I. S. Duff(1974). “Pivot Selection and Row Ordering in Givens Reduction on Sparse Matri- 
ces,” Computing 13, 239-248. 


J. A. George and M. T. Heath(1980). “Solution of Sparse Linear Least Squares Problems 
Using Givens Rotations,” Lin. Alg. and Its Applic. 34, 69-83. 


5.4 其 他 正 交 分 解 


如 果 A 是 秩 亏损 的 , 则 QR 分 解 不 一 定 能 给 出 ran(4) 的 一 组 正 交 基 . 这 个 问 
题 可 通过 计算 经 过 列 置换 后 的 AZ QR 分 解 来 解决 , 即 AIL = QR, 其 中 ORE 
换 矩 阵 . 
WRER—D- REXER Z, 则 A 中 的 “数据 ”可 被 进一步 压缩 
Q' AZ =T. 
FE Q 和 Z 的 有 趣 选取 , 这 些 选取 以 及 相应 的 列 主 元 的 QR 分 解 正 是 本 节 要 讨论 
BY. 


5.4.1 Ra: WEEN QR 分 解 


如 果 A cR” B rank(A) « n, 则 QR 分 解 不 一 定 产生 ran(A) 的 一 组 正 交 
基 . 例如 , 如 果 4 有 三 列 且 


1 1 
0 0 
0 0 


=e m 


A = [a1, a2, a3] = [qi, 92, 93] 


是 它 的 QR 分 解 , 则 rank(4) = 2, fH ran(A) 和 三 个 子 空 间 span{q, 42), span{gi, as) 
和 span{qe, gs} 中 任何 一 个 都 不 相等 ， 

老 运 的 是 ,可 对 Householder QR 分 解 算法 (算法 5.2.1) 做 简单 修改 来 生成 
ran(A) 的 正 交 基 . 修改 的 算法 计算 分 解 


T l| Ru Riz jr 
Q AH = 0 0 m-—r (5.4.1) 


r n—rF 

其 中 7 = rank(A), Q 是 正 交 的 , Ru 是 上 三 角形 矩阵 是 是 非 奇异 的 , I 是 置换 矩阵 . 
如 果 按 列 划分 AIT = lan, ,a4,] AQ = [mas] 则 对 上 =1:n 有 

min{r,k} 

Gc, = » TikQi € spaníqi, ttt sdr}, 
i=l 

这 意味 

ran(A) = span{gl ,dr 
‘aE Q 和 II 分 别 是 Householder E ERRA AS PE EA FAR. 假定 对 某 个 天 
我 们 已 计算 了 Householder 4EEE Hy--- Hy , 和 置换 矩阵 M Hs 使 得 
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(Hy «+ HJA- Mp) = 


RED = RY) REY k—1 
0 REY |m-k+1’ (5.4.2) 
k-1 n—k-cl 
其 中 REO 是 非 奇异 上 三 角形 矩阵 . 现在 假定 
RED 一 ee, a 
是 按 列 划 分 的 , HA p > k 是 使 得 
ll 7 lla = maxtllzt lay se Ua} (5.4.3) 
的 最 小 下 标 . 注意 , 如 果 k — 1 = rank( A), 则 这 个 极 大 值 是 零 , 从 而 计算 至 此 结束 . 
否则 , > II, 是 互 换 第 p WHA k FUE nxn 单位 矩阵 , 并 且 确 定 Householder 4E 
BE H, 使 得 对 RO = HRÜ-U II, RO(k-1:m,k) = 0. 换 句 话说 ,DT 把 
REY 的 最 大 列 移 到 前 面 , He 把 它 的 非 对 角 元 化 为 零 . 
如 果 利 用 对 于 任何 正 交 和 矩阵 Q € RX! 均 成 立 的 性 质 


1 
T a 2 2 2 
Q z= => jw] = |z a”, 
| l, 1 lwllz = llzll2 


那么 不 必 每 一 步 重新 计算 列 范 数 ， 因 为 我 们 可 以 通过 修正 旧 的 列 范 数 来 得 到 新 的 
列 范 数 , 即 
22 = 29-113 — rk» 
XXE XE LEB O(mn?) 个 flop 减少 到 O(mn) 个 flop. 综 上 所 述 , 我 们 得 
到 由 Businger and Golub(1965) 给 出 的 算法 . 
算法 5.4.1 ( 列 选 主 的 Householder QR 分解 ) 给 定 A4ER"m™** 且 m 之 nn 
本 算法 计算 7 = rank(A) 和 分 解 (5.4.1), 其 中 Q =H oO Hn HE — Mo MA 
的 上 三 角 部 分 被 如 的 上 三 角 部 分 覆盖 , 第 jA Householder 向 量 的 j 十 1 :m 分 量 
存储 于 4(j 十 1 :m,7) F, 置换 矩阵 II 由 整数 向 量 piv 来 标记 . 具体 地 说 , Hj 是 
将 第 了 行 和 第 piv(j) 4T ZRH Pw. 
for j=1:n 
e(j) = A(1:m, 1 AL: m, j) 
end 
r =0;7 = max{c(1),--- , c(n)] 
求 最 小 ku Sk <n) RAG ck) = 7 
while 7 > 0 
r-r4l 
piv (r) = k; A(1 : m,r) e A(1 : m, k); c(r) > clk) 
[v, 6] = house(A(r : m,r)) 
A(r : m,r : n) = (Im-r41 — BvvT )A(r : m,r: n) 
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A(r+1:m,r) =v(2:m—r+1) 
fori=r+iin 

c(i) = c(i) — Afr, i)? 
end 
ifr<n 

T =max{e(r + 1),... ,c(n)} 

AGE kir +1 <k <n) RF c(k) ^ 7. 
else 

T=0 


end 
本 算法 需要 4mnr — 2r2(m +n) + 4r3/3 个 flop, 其 中 r = rank(A). 如 同 非 选 主 的 
算法 5.2.1 一 样 , ETER Q 以 分 解 的 形式 存储 在 4 的 次 对 角 线 部 分 . 

P) 5.4.1 如 果 用 算法 5.4.1 来 解 


1 2 3 
A= 1 5 6 
1 8 9 
1 11 12 


则 五 =jes e» ei, 保留 3 位 有 效 数 我 们 有 
—0.182 —0.816 0.514 0.191 
—0.365 0.408 —0.827 0.129 


All = = 
QR 0.548 | 0.000 0.113 0.829 
-—0.730 0.408 0.200 0.510 
一 16.4 —14.600 —1.820 
x 0.0 0.816 —0.816 


0.0 0.000 0.000 
0.0 0.000 0.000 


5.4.2 ”完全 正 交 分 解 


由 算法 5.4.1 产生 的 矩阵 R, 如 果 从 右边 用 一 组 适当 的 Householder AE RETA RE 
则 可 进一步 约 化 . 具体 地 说 , 我 们 可 用 算法 5.2.1 来 计算 


. Rh _ TH r 
zt | Me | =| 0 LL (5.4.4) 
其 中 Z, 是 Householder 变换 ， Th, 是 上 三 角形 矩阵 . 于 是 有 
Tu 0 T 
d'az-T-| o o |... (5.4.5) 
T nr 


其 中 Z = HZ,eZ. 我 们 称 任何 这 种 形式 的 分 解 为 完全 正 交 分 解 . 注意 到 
nul(4) = ran(Z(1:n,r 1: n)), 有 关 利用 (5.4.4) 的 结构 之 细节 请 参见 习题 5.2.5. 
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5.4.3 MHAE 
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假定 A e Rmx" Hm > n. FARTA HW REEE Up (m x m) 和 


VB (n x n) 使 得 


UBAVSB = 


di f 0 0 

0 d fe 0 

0 dn—1 fn-1 

0 0 dp 
0 


(5.4.6) 


Up =U -Un 和 VB =V Vn- 都 可 由 Householder 矩阵 的 乘积 给 出 ; 


0 
x 
x 
x 


x 


eooooc xXx 
oOo OC xX xX 


一 般 地 , Ur EE k 列 引入 零 元 , 而 V, 在 第 行 引进 零 元 . 整个 算法 如 下 . 


X X X XX 


ooce xX 


x xX OO 


x 


X X X XX 


X X X X X 


X X X X X 


X X X Xx 


X X Xx o 


ooocqcx 


U, 


一 一 一 


ooo xX Xx 


0 
x 
x 
0 


0 


算法 5.4.2 (Householder WH FHL) 
A ULAVs = B AŽ A, 其 中 BALA AHH, 且 UB =U Un Vn = 
Vi: Vn-2,U; 的 Householder 向 量 的 基本 部 分 存储 于 A+: mj) 中 , Vj 的 
Householder 向 量 的 基本 部 分 存储 于 A(j,j -2:n) P. 


for=j=l:n 


[v, 6] = house(A(j : m, j)) 


A(j : m, j : n) = (Tm-rti — Gov" AG : m, j : n) 


A(j-1:m,j) 2v(2:m— j 1) 
ifjzn-2 


oooo x 


oooo xX 


X xX xX Ooo 


X X X XX 


ooo xX x 


X X X X x 


X X X xXx 


X X Xx o 


oocoooxXx 


| 
| 


Vi 


oooxx 


OOxXx xo 


0 
0 
x 
x 
0 


给 定 A € R?*"^ 且 m 之 n, 本 算法 
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[v, 8] = house(A(j,j +1: n)7) 
A(Zj:m,j+1:n)=AG:m,j+1:n)In-; — vv?) 
A(j,j -2:n) 2 v(2:n -jr 
end l 
end 
本 算法 需要 4mn? — 4n3/3 个 flop. Golub and Kahan(1965) 使 用 了 此 技术 , 并 首 
次 提出 了 双 对 角 化 的 概念 ， 如果 需要 Up 和 Vs 的 显 式 表达 式 ， 二 者 可 分 别 在 
Am?n — An? [n 个 flop 和 4n3/3 个 flop 内 累积 得 到 . A 的 双 对 角 化 与 ATA 的 三 对 
角 化 密切 相关 , 参见 8.2.1 节 . 
例 5.4.2 如 果 用 算法 542 来 解 


1 2 3 
4 
A= 5 6 
7 8 9 
10 11 12 


则 用 3 位 有 效 数字 计算 有 


12.8 21.8 0 


1.00 0.00 0.00 
^ 0 2.24 —0.613 ^ 
B- 0 9 0 ， Va= | 0.00 —0.667  —0.745 | , 


0.00 —0.745 0.667 
0 0 0 


—0.0776 —0.833 0.392 —0.383 
—0.311 —0.451 —0.238 0.802 
一 0.543 —0.069 0.701 一 0.457 
一 0.776 0.312 0.547 0.037 


Ds = 


5.44 R 双 对 角 化 


34 m >n 时 , 如 在 使 用 算法 5.4.2 之 前 首先 对 A 进行 上 三 对 角 化 , 则 会 得 到 
一 个 更 加 快速 的 双 对 角 化 算法 . 具体 地 说 , 假定 我 们 计算 一 个 正 交 抑 阵 Q ERT 


使 得 
R 
md 
是 上 三 角形 矩阵 . 然后 对 方 阵 Ri 进行 双 对 角 化 
UpRiVe = Bi. 


这 里 Ur 和 Ve 是 nxn ERE, Bi 是 nx n EXAM. WR Up = 
Q diag(Un, I5, 5), 则 
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vay =| | zB 


是 A 的 双 对 角 化 . 

以 这 种 方式 计算 双 对 角 化 的 思想 是 Lawson and Hansen(1974, 119 页 ) 提出 
的 , Chan(1982) 对 此 做 了 更 全 面 的 分 析 . .我 们 称 此 方法 为 R 双 对 角 化 , 将 它 所 需 的 
flop 数 (2mn? + 2n3) 与 算法 5.4.2 所 需 的 flop 数 (4mn? — 4n3/3) FALL, 可 看 出 在 
m 2 5n/3 时 , 它 所 需 的 计算 量 要 少 一些 . 
5.4.5 SVD 及 其 计算 


一 旦 完成 了 对 A 的 双 对 角 化 , Golub-Reinsch 的 SVD 算法 的 下 一 步 是 对 B 的 
超 对 角 线 元 素 进 行 消 零 . 这 是 一 个 迭代 过 程 , 可 由 Golub and Kahan(1965) 的 算法 
来 完成 . 但 由 于 对 此 和 迭 代 法 的 讨论 需 有 关 对 称 特征 值 的 知识 , 我 们 将 其 放 在 8.6 节 
中 讲述 . 现在 只 指出 它 能 够 计算 满足 

ULBV;- E = diag(o,... ,on) € R™*” 
I IEAEARPE U 和 Vs. 通过 定义 U = U aU y MV = VBV z, YUEN UTAV = 
E 是 AR SVD. 算法 中 这 部 分 计算 的 flop 数 与 SVD 分 解 到 什么 程度 有 关 . 例如 ， 
求解 LS 问题 时 , UT 从 来 不 用 显 式 求 出 , 只 是 随 着 UT 的 产生 , 将 它 作 用 到 b ESI 
可 . 在 其 他 应 用 中 , RREAK Di = U( 1: n). 共计 有 六 种 可 能 情况 , 每 种 情况 下 
SVD 算法 所 需 的 工作 量 总 结 在 表 5.4.1 中 . 由 于 存在 两 种 双 对 角 化 的 方法 , 因此 有 
两 栏 的 flop 数 . 如 果 通 过 算法 5.4.2 实现 双 对 角 化 , 则 产生 Golub-Reinsch(1970)SVD 
Jk. 而 如 采用 R 双 对 角 化 , 我 们 得 到 Chan(1982a) 详细 给 出 的 R-SVD 算法 . 通 
过 比较 表 中 的 值 (只 是 工作 量 的 近似 估计 ), 我 们 的 结论 是 : 除非 m sm R-SVD 方 
法 更 有 效 . 
表 5.4.1 


Golub-Reinsch SVD 
4mn? — 4n3/3 
Amn? + 8n? 


R-SVD 
2mn? + 2n? 
2mn? + lin3 


， 4m?n 一 8mn? 4m?n + 13n3 

E,U:| 14mn? — 2n3 6mn? + 11n3 

E,U,V 4m?n + 8mn?2 + 9n? Am?n + 22n3 
H 


14mn? + 8n? 6mn? + 20n3 


E RH 


5.4.1 ”假设 A ecRmxn 且 m <n. 给 出 一 个 算法 计算 分 解 
UTAV =[B O)| 
其 中 B 是 mx m WLS. Gea: 利用 Householder 上 矩阵 获得 


5.4 其 他 正 交 分 解 227 


x x 00 0 0 
0 x x 0 00 
0 0 x x 0 0 
0 0 0 x x 0 


的 形式 , 然后 自 右 开始 进行 Givens 旋转 来 向 上 “追赶 ”第 (m 二 1) 列 的 (m, m 4-1) TH.) 

5.4.2 ”指出 如 何 用 Givens 旋转 对 一 个 n x n 上 三 角形 矩阵 进行 双 对 角 化 ， 

5.4.3 ”指出 如 何 用 Givens 旋转 对 三 对 角 和 矩阵 T e R"*" 进行 双 对 角 化 . 

5.44 $ AER” HBS v z 0 WE |Avla = on(4)llvjlz. 设 II 是 满足 当 
Ov = w 时 有 wa = Jul, ARE, 证明 如 果 AN — QR 是 AT 的 QR 分 解 , 则 
Irnn| 和 /rion(A). RUA II 使 得 AT 的 QR 分 解 接近 秩 亏损 . 

5.4.5 Me a,yeR",QeR™", Q 是 正 交 矩 阵 , 证 明 如 果 


T, a 1 T, B 1 
qutt. ow [^ t. 


Jil uTv = zy — aß. 
5.4.6 E A = [a1,… ,an] € R?*",b ERm, 对 4 的 列 向 量 的 任意 子 集 (aoi, acu}, 
定义 
res[@ci,*+* ,ack] = min laci, yacklz — bll2 
描述 一 种 不 同 于 算法 5.4.1 的 选 主 元 方法 使 得 : 如 果 最 终 分 解 有 QR-AH = [aci ace], 
则 对 于 =1:n 有 


res[acl,…… ,aek] = min res[aci, ^^: ,Qek—1, Gci] 
本 节 注 释 与 参考 文献 
完全 正 交 分 解 的 讨论 见 : 


R. J. Hanson and C. L. Lawson(1969), “Extensions and Applications of the Householder 
Algorithm for Solving Linear Least Square Problems,” Math. Comp. 23, 787-812. 

P. A. Wedin(1973). “On the Almost Rank-Deficient Case of the Least Squares Problem,” 
BIT 13, 344-354. 

G. H. Golub and V. Pereyra(1976). “Differentiation of Pseudo-Inverses, Separable Nonlinear 
Least Squares Problems and Other Tales," in Generalized Inverses and Applications, ed. 
M. Z. Nashed, Academic Press, New York, pp. 303-324. 
SVD 的 计算 在 8.6 节 详 细 介绍 , 但 以 下 是 有 关 的 标准 参考 文献 : 

G. H. Golub and W. Kahan(1965). “Calculating the Singular Values and Pseudo-Inverse of 
a Matrix,” SIAM J. Num. Anal. 2, 205-224. 

P. A. Businger and G. H. Golub(1969). “Algorithm 358: Singular Value Decomposition of 
the Complex Matrix," Comm. ACM 12, 564-565. 

G. H. Golub and C. Reinsch(1970). “Singular Value Decomposition and Least Squares 
Solutions,” Numer. Math. 14, 403-420. See also Wilkinson and Reinsch (1971, pp. 
1334~ 1351). 
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T. F. Chan(1982). “An Improved Algorihtm for Computing the Singular Value Decomposi- 
tion,” ACM Trans. Math. Soft. 8, 72-83. 


列 选 主 的 QR 分 解 最 早 在 下 面 文章 中 讨论 ; 

P. A. Businger and G. H. Golub(1965). “Linear Least Squares Solutions by Householder 
Transformations,” Numer. Math. 7, 269-276. See also Wilkinson and Reinsch(1971, 
pp. 11-18). 


很 难 决定 算法 何 时 停止 . 在 秩 亏 损 的 问题 中 , 获得 有 关 R 的 上 三 角形 矩阵 的 最 小 奇异 值 

的 信息 将 很 有 帮助 , 这 可 通过 用 3.5.4 节 的 技巧 或 下 述 文章 中 的 方法 来 实现 : 

I. Karasalo(1974). “A Criterion for Truncation of the QR Decomposition Algorithm for the 
Singular Linear Least Squares Problem,” BIT 14, 156-166. 

N. Anderson and I, Karasalo(1975). “On Computing Bounds for the Least Singular Value 
of a Triangular Matrix,” BIT 15, 1-4. 
用 QR 分 解 来 估计 秩 的 其 他 问题 可 见 文献 : 

L. V. Foster(1986). “Rank and Null Space Calculations Using Matrix Decomposition without 
Column Interchanges,” Lin. Alg. and Its Aplic. TA. 47-71. 

T. F. Chan(1987). “Rank Revealing QR Factorizations," Lin. Alg. and Its Applic. 88/89, 
67—82. 

T. F. Chan and P. Hansen(1992). “Some Applications of the Rank Revealing QR Factorza- 
tion,” SIAM J. Sci, and Stat. Comp. 13, 727-741. 

J. L. Barlow and U. B. Vemulapati(1992). *Rank Detection Methods for Sparse Matrices," 
SIAM J. Matriz. Anal. Appl. 13. 1279-1297. 

T-M. Hwang, W-W. Lin, and E. K. Yang(1992). “Rank-Revealing LU Factorizations,” Lin, 
Alg. and Its Applic. 175. 115-141. 

C. H. Bischof and P. C. Hansen(1992). *A Block Algorithm for Computing Rank-Revealing 
QR Factorizations," Numerical Algorithms 2, 371-392. 

S. Chandrasekaren and I. C. F. Ipsen(1994). *On Rank-Revealing Factorizations," SIAM J. 
Matriz Anal. Appl. 15, 592-622. 

R. D. Fierro and P. C. Hansen(1995). *Accuracy of TSVD Solutions Computed from Rank- 
Revealing Decompositions,” Numer. Math. 70, 453-472. 


5.5 ” 秩 亏损 的 LS 问题 


如 果 A 是 秩 亏 损 的 , 则 LS 问题 有 无 穷 多 个 解 , 我 们 必须 采用 特殊 的 技术 . 这 
些 技术 必须 考虑 确定 数值 秩 这 一 难题 . 

给 出 一 些 SVD 的 预备 知识 后 , 我 们 说 明 列 选 主 的 QR 方法 可 用 来 确定 使 得 
Arg È r = rank(4) 列 的 线性 组 合 的 极 小 点 zs. 然后 讨论 可 由 SVD 得 出 的 极 小 
2 范 数 解 . 
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5.5.1 SR] S AERE 

假定 A € R"*" H rank(A) =r <n. RGH LS 问题 有 无 穷 多 个 解 , 这 是 因为 
如 果 a 是 一 个 极 小 解 , z € n(A), 则 e+ z 也 是 一 个 极 小 解 . 所 有 极 小 解 的 集合 

x = {x € R” : || Ax -bls = min} 
ZEN, 因为 如 æ, æ € x HA € [0,1], W 
A(s + (1—2)23) - bla. € Al|Az: — Bila + (1 — A)| Awe — bil 
= min | Aa — Ol. 

因此 , Asi 十 (1 一 入 x2 € x. 所 以 , x 中 有 唯一 元 素 具 有 极 小 2 范 数 , 用 zrs 表示 这 
个 解 (注意 在 满 秩 情况 时 , 只 有 一 个 LS 解 , 故 它 必须 有 极 小 2 范 数 . 因此 , 这 与 5.3 
节 的 记号 一 致 ). 
5.5.2 ”完全 正 交 分 解 和 zrs 

任何 完全 正 交 分 解 都 可 用 来 计算 zLs. 具体 地 说 , WR Q 和 Z 是 正 交 和 矩阵 且 
满足 


Q'AZ-T- | Tu 0 T o T=rank(A), 
r n-r 
则 
| Aw — b]? = I(QTAZ)Z"a — QB? = [Pw — el + [dl 
其 中 


zr | | T om-| 3 T 

y [n-r' d|m-r' 

很 显然 , 如 果 m 使 平方 和 极 小 , 那么 必定 有 w = T c. 因为 要 使 x 的 2 范 数 极 小 ， 
y 必须 是 零 , 并 且 有 


5.5.8 SVD 和 LS 问题 


当然 , SVD 是 非常 有 启示 性 的 完全 正 交 分 解 . 它 提供 了 ois 的 一 个 简洁 表达 
式 和 极 小 剩余 量 的 范 数 pLs = || Axis — bla. 

定理 5.5.1 假定 UTAV = X & Ac R"*" 的 SVD 且 7=Trank(4). 如 果 
U = [ua ,Um] fo V = [v1,… ,Vn] 是 按 列 划 分 的 ,bE€ R^, A 


T uT 
ais= >> "Py, (5.5.1) 
i=. 7! 
& | Aw — blo 极 小 化 , 且 是 所 有 极 小 点 中 2 范 数 最 小 的 . 而 且 
pis = | Avus - bl2 = $ (urb). (5.5.2) 


i=r+1 
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证 明 ”对 于 任意 = € R", 我 们 有 
| Ax — bl = (UT AV (Væ) - UTE]? = || La -Ub 


m 


-> oiai — u,b)? + V^ (urb), 


i=r+1 
其 中 a= VTz. 很 显然 ， E x 是 LS 问题 的 解 ,由 则 对 1 t= 1:r A a; = (uDb/o)). # 
4 a(r+1:n) = 0, 则 得 到 的 s 显然 具有 极 小 2 范 数 . 口 
5.5.4 [| SO 
如 果 我 们 定义 矩阵 AT e Rn"xm 为 At -vVE*UT 其 中 
xt = diag (ze LI 0) E R"*", r= rank(A), 
HA zis- A*b B. prs - l(I—AA")b|o. At RA ABI Lik (Pseudo-inverse). 它 是 
in IAX -Inle (5.5.3) 


的 唯一 的 极 小 Frobenius 范 数 解 . AUR rank(A) = n, Jl] At = (AT A)! AT, 而 如 
E m =n —rank(A), Jl) At = A !. 3835, At 定义 为 满足 如 下 四 个 Moore-Penrose 
条 件 的 唯一 矩阵 X c R"*"; 

(i) AXA — A; (i) XAX = X; 

(iii) (AX)T = AX; (iv) (XA)? = X A. 
这 些 条 件 相 当 于 要 求 AAt 和 ATA 分 别 是 ran(4) 和 ran(AT) 上 的 正 交 投影 . 
3ix b, AAt = UUT, 其 中 Ui = U(1: m1: r), Wl AtA = ViVi, 其 中 
V,=V(1:n,1:r). 
5.5.5 ”一些 敏感 性 问题 


在 5.3 节 我 们 分 析 了 满 秩 LS 问题 的 敏感 性 . 定理 5.3.1 对 这 种 情形 下 zrs 的 性 
质 做 了 总 结 ， 如 果 没有 满 秩 的 假设 , 则 ors 甚至 不 是 数据 的 连续 函数 ， 4 和 b 的 微 
小 变化 会 引起 aus — A*b 的 任意 大 的 变化 .能 揭示 这 一 点 的 最 容易 的 办 法 是 考虑 广 
SOARTA. 如 果 A 和 54 属于 R”, 则 Wedin(1973) 和 Stewart(1975) 证 明了 

(A +6A)* — A? |r < 2l|5A]|r max(]A* lf. (A + 5A)" [3}- 
这 个 不 等 式 是 对 定理 2.3.4 的 推广 , 在 定理 2.3.4 PRI. 然而 , 与 
非 奇异 方 阵 的 情形 不 同 的 是 , 当 54 ATEN, 上 界 却 不 一 定 趋 于 零 . 如 果 


1 0 0 0 
A=|10|,， $4=|0 elb 
0 0 0 0 


则 
P 0 "| (+560) |] 0 a 


000 1 1/e 0 
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A At — (A-6A)* [|o = 1/e. 在 有 这 样 的 不 连续 的 情形 下 求 LS 问题 的 极 小 数值 
解 是 一 个 很 大 的 挑战 . 
5.5.6 ” 列 选 主 的 QR 分解 和 基本 解 
假定 AcR"*" 的 秩 为 x, 列 选 主 的 QR 分 解 (算法 5.4.1) 产生 分 解 AI = QR, 
其 中 
R= | Ru Riz I, r 
9 0 -r` 


TL-—Tr 


有 了 这 个 约 化 , LS 问题 就 马上 解决 了 . 事实 上 , 对 于 任意 zx eR", 有 
\| Aa — bl? =| (QTA HT) Tz) — (Qb) 
=||Riry — (c — Rizz)||3 + lidl 


jy] r T, le] r 
We=|¥) 7 gesl e lpn 
于 是 , 如 z 是 一 个 LS 问题 的 极 小 解 , 则 必定 有 


su Rii (c ~ Razz) | . 
z 


其 中 


如 果 把 表达 式 中 的 z BS, 便 可 得 到 基本 解 : 
ep =I Rive 
注意 rp 至 多 有 r 个 非 零 分 量 , M Ars 只 涉及 A 的 列 向 量 的 一 个 子 集 . 
除非 子 和 矩阵 Rio ES, 否则 这 个 基本 解 一 般 不 是 极 小 2 范 数 解 , 这 是 因为 
RR | z 


5.5.4 
-L. (5.5.4) 


co | 


les] = min, 
2 
事实 上 , leshe 的 这 个 特征 可 用 来 证 明 : 
1« [ze < < V 1-4 1Ri Riel}. (5.5.5) 
详情 请 参阅 Golub and Pereyra(1976). 
5.5.7 用 Al = QR 确定 数值 秩 
车 用 算法 5.4.1 来 计算 rp, 那么 在 确定 rank(A) 时 要 非常 谨慎 . 为 了 了 解 这 个 


困难 , 假设 
a(k) (k) 
^ R Ris k 
fI, HAIL, IE) = R” = 1 me 
Ry, m—k 
k n-k 
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是 用 浮 点 运算 执行 算法 的 第 大 步 之 后 的 矩阵 . 假定 rank(A) = k. 因为 有 合 入 误差 
RO 不 会 精确 为 零 . 但 是 , 如 果 RO 的 范 数 适当 小 , 那么 就 有 理由 停止 约 化 , 并 宣 
称 A 的 秩 为 k. 一 个 有 代表 性 的 终止 准则 是 

IÈR Ila < ellAll, (5.5.6) 
其 中 si 是 与 机 器 有 关 的 一 个 小 参数 .根据 Householder 矩阵 计算 的 合 入 性 质 ( 见 
5.1.12 节 ), 我 们 知道 Ro 是 A+ E, 的 精确 QR 分 解 之 R, 其 中 

Ella < ez2llAlla, £2 = Ou). 
由 定理 2.5.2 我 们 有 
eai (A Ex) = oa (RY) < ÈS llo- 
XA oxi (A) < ok (A + Ex) 十 上 Bkllz, 因此 
oky (A) <S (€1 + e) Alla. 

换 名 话说 , 4 中 Olei + ez) 的 相对 拓 动 能 产生 一 个 秩 为 k 的 矩阵 .以 此 为 终止 准 
则 , 可 得 出 结论 : DOES k< n, RO 适当 小 时 , 列 选 主 的 QR 约 化 就 “发 现 ” 了 
秩 亏 损 . 

不 幸 的 是 , 情况 并 非 总 如 此 — EBERT DLE LPR SHIN, 但 没有 一 个 Ry, 
特别 小 _ 于是, 列 选 主 的 QR 法 单独 作为 判断 几乎 秩 亏 损 的 方法 不 是 绝对 可 靠 . JA 
而 , 如 果 对 FR 应 用 一 个 好 的 条 件 估计 数 , 在 实际 中 接近 秩 亏损 的 情形 就 不 可 能 不 
被 注意 到 . 

例 5.5.1 HEE T,(c) 如 下 


1 =e -e > —c 

0 1 =e +++ 一 C 
T4(c) = diag(1, s,--- ,s"71) EF : 

: 1 -c 

0 e 0 1 


其 中 c2 + 5? = lcs > 0( 参 见 Lawson and Hanson(1974, 31 页 )). REEPERI 
算法 5.4.1 改变 , Ai k= 1:n 1 RG > s" 1. 这 个 不 等 式 表 明 (举例 )， 
ITEE Tioo(0.2) RH, 由 于 599 6 0.13, 它 没 有 特别 小 的 主子 给 阵 . 然而 可 以 证 
明 on = O(10-8). 

5.5.8 ”数值 秩 与 SVD 


现在 我 们 集中 注意 力 于 有 舍 入 情况 时 用 SVD 方法 处 理 秩 亏损 的 能 力 , 回想 到 
WR A=USVT Æ A H SVD, W 
T uT 
aus — 7 v (5.5.7) 
i=1 * 
| EP r = rank( A). H Ô, V RI 3 — diag(6;) 表示 U,V Bl X = diag(oi) 的 计算 值 . 
假定 两 个 奇异 值 序列 都 是 从 大 到 小 排列 的 . 合理 地 利用 SVD 算法 可 推出 
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U=W+AU, WTW =Im, ||AUll2<e, (5.5.8) 
4 =Z+AV, ZTZ-I,. AV] <e, (5.5.9) 
£-=WT(A+AA)Z, |AV|| € el|Allo, (5.5.10) 


其 中 = u 的 一 个 小 倍数 , u 是 机 器 精度 . 简 言 之 , SVD FORAY “ISA” 4E 
A+ OA 的 奇异 值 . 

注意 Ó 和 v m—zuiBXDH US v. 但 是 , 我 们 可 以 证 明 ox 逼近 on. 用 
(5.5.10) 和 定理 2.5.2, 我 们 有 


Ok Tonk Bk l-A — Bile 


|S — B) - WT(AA)Zll. 


gsm 
因为 WTA) Zll < el Alla = sai A 


rank(B)=k—1 Ix i Bl» = Oks 


由 此 可 得 , XP k—1:n lo, —6x| < cor. 于 是 如 果 A 的 秩 为 ” 那么 计算 得 的 奇 
异 值 中 的 n 一 " 个 值 会 很 小 . 当 计 算 了 AW SVD 时 , A 的 几乎 秩 亏 损 性 必定 会 暴 
露出 来 . 

例 5.5.2 ”对 于 例 5.5.1 中 的 矩阵 T09(03) 05 © 0.367 x 1078. 

由 计算 得 的 奇异 值 来 估计 > = rank(4) 的 一 种 方法 是 取 参 数 > 0, 当 6; 满足 

612: 26,20 20,412 720a 

时 , 我 们 约定 4 的 “数值 秩 ” 为 £. 参数 5 应 当 与 机 器 精度 相 协调 , 例如 取 6 = 
ul|Allw. 可 是 , 如 果 数 据 普遍 的 相对 误差 比 u 大 , 那么 6 也 应 相应 地 大 一 些 . 例如 ， 
E 4 的 元 素 只 有 两 位 有 效 数字 , WAR 6 = 10-7 |Alloo. 

如 果 将 # 做 为 数值 秩 , 我 们 可 将 


(el O4 
视 作 arg 的 近似 解 . 由 于 lizallz ~= 1/os < 1/6, 也 可 以 按 需 要 选取 0, 以 便 在 范 数 
适当 小 的 意义 下 产生 近似 的 LS f£. 在 12.1 节 , 我 们 将 讨论 解决 此 问题 的 更 精致 的 
方法 . 

如 果 o; > 6, 那么 我 们 有 理由 满足 于 cp, 因为 此 时 可 以 毫 无 疑义 地 视 A AR 
f FARE (对 于 模 ô). 

EK, {ô on} 不 能 明显 地 划分 为 小 的 和 大 的 奇异 值 子 集 , 这 样 用 该 方 
法 确定 * 有 一 些 任意 性 . 这 将 导致 估计 秩 的 更 复杂 的 方法 产生 , 下 面 我 们 针对 最 小 
二 乘 来 讨论 它们 

例如 , Ber =n 且 先 假设 (5.5.10) 中 的 AA = 0. 于 是 0; = Gi — 13: n). FH 
uj, wi, v; 和 zi APA ZEAE Ü,W,V 和 2 的 第 i 列 . 从 crs RE o; 并 取 范 数 得 
到 


284 第 5 章 正 交 化 和 最 小 二 乘法 


f n 2 
|lz« — ærsll2 < >> Iwr bes - u beile ta >》 (=>) . 
i=l t i=f+1 
FH (5.5.8) 和 (5.5.9) 容易 证 实 
(wT bzi — (uf b)vills < 2(1 十 s)ellpll>， (5.5.11) 
因此 
^ n 2 
læs — zrslla < —2ü - e)ellblla +, >> (2) . 
T i=f+1 ? 
参数 可 取 为 使 上 界 最 小 的 整数 . 注意 上 界 中 的 第 一 项 随 着 P 增 大 而 增 大 , 而 第 二 
项 随 着 6 的 增 大 却 是 减 小 的 . 
当 极 小 化 余 量 比 解 的 精度 更 重要 时 , 可 以 基于 我 们 所 推测 |b- Asl 与 真 的 
极 小 值 的 靠近 程度 来 确定 f 和 上 述 分 析 平 行 地 , 可 以 证 明 ; 
Ib — Aza - lb- Aaa < (n— blo + ella (++ Ža 9). 
同样 , 还 可 选取 6 使 上 界 极 小 . 实际 细节 请 参阅 Varah(1973), 也 可 见 LAPACK 手 
A. 
5.5.9 一些 比较 


正如 我 们 所 指出 的 , 当 用 SVD 解 LS 问题 时 , 只 有 X: V 必须 计算 . 表 5.5.1 
将 此 方法 的 效率 与 其 他 算法 做 了 比较 . 


表 5.5.1 
LS 算法 flop 数 
法 方程 mn? +n3/3 
Householder 正 交 化 2mn? — 2n3/3 
修正 Gram-Schmidt 2mn? 
Givens 正 交 化 3mn? — n? 
Householder 双 对 角 化 Amn? — 4n3/2 
R 双 对 角 化 2mn? + 2n? 
Golub-Reinsch SVD Amn? + 8n3 
R-SVD 2mn? + 11n3 
3 H 


X r=rank(A) A T 是 非 奇 异 的 , 则 
x= | T^ 0 | T 


T mT 
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满足 AXA=A 和 (AX)" = (AX). 在 这 种 情况 下 , 称 X 是 4 的 (1, 3) 广义 道 , 证 明 对 
于 一 般 的 AF zs = Xb, EH X 是 AH (1,3) JP 508. 
5.5.2 SEX B(A) € R* 33 B(A) = (ATA - AJ)! AT, HH A > 0, UE 
| 和 


BQ) - A lla = ays CAP EAD 


r = rank(A), 


从 而 当 和 一 0 时 有 B(A) 一 At. 
5.5.3 ”考虑 秩 亏 损 的 LS 问题 


RS Vy c 
HHIMUMI 
其 中 尽 ERrxr,SeRrx y ERrzeR" .假定 RR 是 上 三 角形 矩阵 且 非 奇异 . 说 明 如 
何 通过 不 选 主 元 的 QR 分 解 求 得 此 问题 的 极 小 范 数 解 , 并 求 适当 的 y 和 z. 
5.5.4 ”证 明 如 果 有 A, 一 A 和 AP 一 At 成 立 , 则 存在 一 个 整数 ko 满足 对 所 有 
k > ko,rank(Ax) 是 常数 . 


5.5.5 ”证 明 如 果 A c Rmxn” 的 秩 为 n, 则 只 要 |El At] < 1 就 知 A -- E 的 秩 也 为 


min 
yERT 
Zz€RT*—T 
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下 述 文章 对 秩 亏 损 情形 做 了 讨论 : 
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G. W. Stewart(1987). “Collinearity and Least Squares Regression,” Statistical Science 2, 
68—100. 


在 12.1 节 和 12.2 节 我 们 就 这 个 主题 还 要 做 更 多 讨论 . 


5.6 “加权 和 和 迭代 改进 


在 第 3 章 中 关于 方 线性 方程 组 引进 了 加 权 和 迁 代 改进 的 概念 . 现在 , 将 把 这 些 
概念 推广 到 最 小 二 乘 问题 . 


5.6.1 FAA 
假定 Ge 有"x” 是 非 奇异 的 . LS 问题 
min ||Ax — blz, AcR"'"",bem" (5.6.1) 
的 解 可 以 通过 先 求 
min ||(AG)y — bll2 (5.6.2) 


的 极 小 2 范 数 yis, RAS za = Gyrs 而 得 到 . WR rank(A) = n, 那么 zc = zrs. 
否则 , zc 是 (5.6.1) 的 极 小 G 范 数 解 , 其 中 G 范 数 定义 为 alla = |G zll 

G 的 选取 是 重要 的 有 时 它 的 选择 可 基于 对 A 的 不 确定 因素 的 先 验 估计 . 另 
一 些 时 候 , 可 取 

G = Go = diag(1/\JA(:, 1 a I/A n) Da) 

来 使 4 的 列 规范 化 . Van der Sluis(1969) 证 明了 对 此 选取 , &; (AG) 近似 极 小 . 由 
于 ws 的 计算 精度 依赖 于 rx2(4G), 取 G= Go 是 有 道理 的 . 

我 们 发 现 列 加 权 会 改变 奇异 值 . 因而 当 确定 数值 秩 的 方法 用 于 A 和 AG BIST 
能 不 会 给 出 同样 的 估计 . 见 Stewart(1984 b). 


5.6.2 fF 
设 D = diag(di,:… ,dm) 是 非 奇异 的 , 考虑 加 权 最 小 二 乘 问题 : 
min|D(Az-5b)|l;; Ac€R"*", beR". (5.6.3) 
假定 rank(A) =n H wp 是 (5.6.3) 的 解 . 可 证 (5.6.1) 的 解 xLs 满足 
zp — cis = (ATD? AJ 1 AT(D? — I)(b — Axis) (5.6.4) 


这 表明 Ls 问题 的 行 加 权 会 改变 解 (一 个 重要 例外 是 € ran (A), 此 时 zp = zrs). 
确定 D 的 一 种 方法 是 令 d, 是 br 的 不 确定 性 的 某 种 量度 , 例如 , be 的 标准 偏 
差 的 倒数 . 这 样 , 当 de 较 大 时 , re = ef (b 一 Asp) 倾向 于 变 小 . dy, 对 re 的 精确 影 
响 可 阐明 如 下 . 定义 
D(6) = diag(di, -> , dg a de VL +6, di, idm); 
其 中 5 > -1. 如 果 z(5) SUME || D(5)(Aw — Da E r«(5) 是 6 一 Az(6) 的 第 大 个 
分 量 , 则 可 证 : 


Tk 
1+ dd2ef A(AT D? A) AAT e, 


ry (8) = (5.6.5) 
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这 个 显 式 表 达 式 说 明 rel) 是 6 的 单调 递减 函数 . 当然 , 当 所 有 的 权 都 变化 时 rk 如 
何 变 化 要 比 这 复杂 得 多 . 
例 5.6.1 假定 


A= 


ow e 
oar nd 


7 
to X€ D = I4, 1) £p = [-1,0.85]T e r = b — Aæp = (0.3, 0.4, 0.1,0[2T. 另 一 方 
面 , 如 果 D = diag(1000,1,1, 1), MAMA zp % [-1.43, 1.21]? der = b — Azp = 
[0.000 428, —0.571 428, —0.142 853, 0.285 714]T. 

5.6.8 ”广义 最 小 二 乘 


在 许多 估计 问题 中 , 观测 向 量 与 z 之 间 的 关系 为 
b= Az +w, (5.6.6) 
其 中 嗓 声 向 量 w 的 均值 为 零 , TU BLICA: £3 E 48M? W 对 称 正定 ， 假 定 已 知 
W Hot B eR"mxm 有 W = BB". B 可 能 是 给 定 的 也 可 能 是 W 的 Cholesky 
三 角形 矩阵 . 为 了 使 (5.6.6) 中 的 每 一 个 方程 对 于 确定 的 x 起 同等 作用 , 统计 学 家 
们 常常 要 解 LS 问题 
min |B (Ag — b)». (5.6.7) 
对 此 问题 的 一 个 显然 的 计算 方法 是 先 形成 A = BA H b= Bb, 然后 用 我 们 
已 介绍 过 的 任何 方法 极 小 化 14 æ- bl 不 幸 的 是 , 当 B 是 病态 的 时 , 这 种 方式 得 
到 的 z 稳定 性 非常 差 . 
Paige(1979a, 1979b) 提出 一 个 稳定 得 多 的 求解 (5.6.7) 的 方法 . 它 利用 正 交 变 
H, 基于 (5.6.7) 与 以 下 广义 最 小 二 乘 问题 
b- Ai Bv 
的 等 价 性 . 注意 到 即使 4 和 B 都 是 秩 亏 损 的 , (5.6.8) 也 是 有 定义 的 . 虽然 Paige 
的 方法 对 此 情况 可 以 应 用 , 但 我 们 描述 它 时 仍 假定 这 两 个 矩阵 都 是 满 秩 的 . 
第 一 步 是 计算 4 的 QR 分 解 


gas) T | Q=[A Qz]. 


然后 , MEETER Ze 到 "xm 使 得 


QiBZ=[ 0 S] Z-[Z Z2], 
n m-n n mn 


vty (5.6.8) 


其 中 s 是 上 三 角形 矩阵 . 利用 这 些 正 交 和 矩阵 可 把 (5.6.8) 中 的 约束 条 件 化 成 


Qb | -| 已 | y QTBZ, QTBZ, || Ziv 
Ql6| |o 0 S Zl» | 
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此 方程 的 “下 半 部 ”可 以 解 出 v, 
Su-Qlb, v= Zu, (5.6.9) 
而 它 的 “上 半 部 ”确定 了 z: 
Riz = Qib - (Qi BZ: Z7 + QI B2223) 

= QTb— Q] BZ2u. (5.6.10) 
这 个 方法 吸引 人 之 处 是 所 有 潜在 的 病态 都 集中 在 三 角形 方程 组 (5.6.9) 和 (5.6.10). 
此 外 , Paige(1979b) 证 明了 上 述 的 方法 是 数值 稳定 的 , 这 是 任何 显 式 地 形成 BA 
的 方法 所 不 具有 的 . 
5.6.4 和 迭代 改进 

Bjórck(1967, 1968) 分 析 了 改善 LS 近似 解 的 技术 . 它 基 于 如 下 思想 : 如 果 


Im A rj b 
AT 0 £ jo 
则 ||b — Azli = min. 这 是 因为 从 >+ Aw = b Al ATr =0 可 推出 474z = AT. 
如 果 rank(A) = n( 我 们 下 面 就 假设 如 此 ), 则 上 面 的 增 广 方程 组 是 非 奇 蜡 的 . 
把 LS 问题 化 为 方 线性 方程 组 后 , 可 应 用 迭代 改进 格式 (3.5.5). 
7) — 0; 400 — 0 


for k — 0,1, 
fO b I A rik) 
g® = 0 i AT 0 gh) 
I A p? fO 
PIS 
p(¥+1) pO p? 
| q(t) | 一 | MO | *| 9 
end 
必须 用 较 高 的 精度 来 计算 余 量 JO Mg), 为 此 要 保留 原始 的 A. 


如 果 有 了 A 的 QR 分解， 则 很 容易 获得 增 广 方程 组 的 解 ， 具体 地 说 ， 如 果 
A=QR Al R; = R(1:n,1:n), 则 形 如 


FISIHUM 


, AER™", BER™, (5.6.11) 


的 方程 组 变换 为 
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其 中 


Te | Fi n T h T" 
er [51s en [s 


因此 , 通过 解 三 角形 方程 组 RIh =g 和 Riyz=f,-h#4 p-Q r 就 可 得 


到 p 和 z. 假定 Q 是 以 因子 形式 存储 的 , 那么 每 一 次 迭代 需要 8mn 一 Hr ^* flop. 

使 迭代 成 功 的 关键 在 于 同时 修正 LS 余 量 和 解 ， 而 不 仅仅 是 解 本 身 ， Bjórck 
(1968) 证 明 , 如 果 &(A) = 67 且 用 6 进位 上 位 有 效 数字 运算 , 那么 只 要 用 双 精 度 计 
ARE, Wc” AA kt- a) 位 准确 数字 . 注意 这 个 直观 分 析 中 出 现 的 是 ez(4) 而 
不 是 K2(A)?. 


53 题 
5.6.1 ”证 明 公式 (5.6.4). 
5.6.2 W Ac R"*^ 是 满 秩 的 , 对 6 > —1 EAE 
A=diag(l,... ,1,(1+56),1,... , 1), 
天 一 1 m-k 
FA x(5) 来 表示 min |A(Az — b)|; 的 LS 解 , Hi r(6) = b — 4z(5) 来 表示 其 余 量 . 
A(AT A)! ATe,ed 
14 AGIT tate.) r(0) 
(b) & rp(6) 表示 r(0) 的 第 k 个 元 素 , 证 明 
7kk0) = 一 一 omm 
1 二 bekA4A( 4 A)'! A ex 
(c) 利用 (b) 去 证 明 公式 (5.6.5). 
5.6.3 ”在 公式 (5.6.8) 中 当 4 和 B 是 秩 亏 损 时 , 考虑 如 何 用 SVD 法 求解 广义 LS 问题 
5.6.45 VW AER?” WEA n, 对 于 o2 0, 定义 


wo-| "re |. 


(a) 证 明 r(8) = (2 -ő 


证 明 
Pss (M (0)) = min fa -2 + Vost? + (2) | , 


并 确定 使 Ka(M(a)) 取 极 小 值 的 o. 
5.6.5 ” 另 一 种 LS 问题 的 迭代 改进 方法 如 下 : 
zto) = 0 
for k=0,1,--- 
r® —b— Ag (SUR) 
\|Az™ — r9 ||. = min 


gH ug + zh) 


end 
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(a) 假设 已 有 A 的 QR 分 解 , 每 次 迭代 需 多 少 flop? 
(b) 证 明 在 5.6.4 节 中 给 出 的 迭代 改进 方案 中 , 令 g*) = o, 则 得 到 上 面 的 算法 . 
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5.7 ”正方 形 方程 组 和 欠 定 方程 组 
本 章 的 正 交 化 方法 可 用 于 正方 形 方程 组 , 也 可 用 于 方程 个 数 比 未 知 数 少 的 方程 
组 . 在 这 简短 的 一 节 中 我 们 讨论 几 种 可 能 的 情况 . 
5.71 FA QR 分 解 和 SVD 求解 正方 形 方 程 组 


基于 QR 分解 和 SVD 的 最 小 二 乘法 , 可 用 来 求解 正方 形 方程 组 : REA m = n. 
可 是 , 从 flop 数 来 看 , 高 斯 消去 法 是 解 正方 形 方程 组 的 最 经 济 的 方法 . 这 从 表 5.7.1 
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即 可 得 知 , 在 此 我 们 假定 在 分 解 时 右 端 项 是 已 知 的 . 
尽管 如 此 , 有 三 个 理由 说 明 为 什么 仍然 要 考虑 正 交 化 方法 ; 
e 仅 考虑 工作 量 夸 大 了 高 斯 消去 法 的 优点 ， 当 考虑 内 存 通信 和 和 向 量化 的 开销 ， 
QR 分 解法 的 效率 之 不 过 色 . 
e 正 交 化 法 能 保证 稳定 性 , 不 必 像 高 斯 消去 法 那样 担心 “增长 因子 ”. 
e 对 于 病态 问题 , 正 交 化 方法 更 加 可 靠 . 带 条 件数 估计 的 QR 方法 是 值得 依赖 
的 . 当然 ,在 求 几 乎 奇异 方程 组 的 有 意义 的 解 方面 , SVD 方法 是 无 与 伦比 的 . 
我 们 并 不 是 在 表示 强烈 偏爱 正 交 化 方法 , 而 只 是 在 说 它们 和 高 斯 消去 法 各 具 特 色 . 


X 5.7.1 
Ho 3X flop 3t 
高 斯 消去 法 2n3 /3 
Householder 正 交 化 4n3 /3 
修正 Gram-Schmidt 2n3 
os fato 8n3/3 
SVD( 奇 异 值 分 解 ) 12n3 


我 们 还 要 指出 , 表 5.7.1 中 SVD 对 应 的 值 是 假定 在 因子 分 解 时 就 有 o 否则 ， 
有 必要 累积 U RR, 工作 量 则 为 20n3 个 flop. 
如 果 用 QR 分 解法 解 Az = 5, 则 通常 需要 进行 向 后 消去 Rz = Qb. 然 
Tu, 可 通过 对 b 进行 预 处 理 避 免 此 步骤 . 假定 H 是 一 个 Householder 矩阵 使 得 
Hb = ben, 其 中 e, 是 In 的 最 后 一 列 ， 如 果 我 们 计算 (HAT 的 QR 分 解 , DJ 
A= H R'Q", 方程 组 化 为 
RT y = Ben, 


其 中 y= QTz. 因为 RT 是 下 三 角形 矩阵 , y = (8/rnn)en, W 
z= Ê Q(.n). 


Tnn 
5.7.2 REAR 
当 m< n 时 , 我 们 称 线性 方程 组 

Ag=b, AeceR™"* beR™ (5.7.1) 
是 欠 定 的 . 注意 这 样 的 方程 组 要 么 无 解 要 么 有 无 穷 多 个 解 . 当 有 无 穷 多 解 时 , 重要 
的 是 区 分 算法 是 否 找 到 极 小 2 范 数 解 . 我 们 给 出 的 第 一 个 算法 找到 的 就 不 一 定 是 
Buh 2 范 数 解 . 假定 A 是 行 满 秩 的 , 应 用 列 选 主 的 QR 方法 得 到 

QTAI =(Ri Rl 

其 中 R = Rmxn 是 上 三 角形 矩阵 , R RO”, 于 是 Ar =b 化 为 


(QT Anz) = (Ri ra| |- d^» 


#1 
22 
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其 中 
ITTz = 71 
Z2 
H zl € R?,2; e R77), 由 于 列 选 主 , 而 且 我 们 假定 A 是 行 满 秩 的 , 所 以 Ri 是 
非 奇异 的 . 于 是 , 令 z = R'Q 和 zs = 0 就 得 到 问题 的 一 个 解 . 
算法 5.7.1 #2 ACR™*",rank(A)=m,b e RP, ARKFR xe R 使 得 
Az = b. 
QTAH =R ( 列 选 主 的 QR PAM) 
解 R(1:m,l:m)a = Q7. 
zı 


4 r—II | 0 
此 算法 需要 2m2n — m3/3 个 flop. 不 能 保证 是 极 小 范 数 解 (一 个 不 同 的 ID 会 得 到 
一 个 更 小 的 z1). 但 是 , 如 果 我 们 计算 QR 分 解 
T. _ Ri 
其 中 Ri € 有 mxm, 则 Az = 五 化 为 


(QR)'s -[RT 0| | A | =b, 
Z2 
其 中 


Qa = 


22 


| , z ER”, zE R". 


现在 , $ zo = 0 就 得 到 了 极 小 范 数 解 . 

算法 5.7.2 4E AC Rmxnirank(4) = m,b c RP, 本 算法 寻找 Ax = b 的 
极 小 2 范 数 解 . 

A'-QR (QR 分 解 ) 

解 R(1:m,l:m)'z-b 

x = Q(,1:m)z. 
本 算法 最 多 需要 2m2n - 2m?/3 个 flop. 

SVD 也 可 用 来 计算 欠 定 Aa = b 问题 的 极 小 范 数 解 . 如 果 

A= > ojujv;, r= rank(A) 
i=1 
是 4 的 奇异 值 展开 式 , 则 
T T 
i=l t 


与 最 小 二 乘 问题 一 样 , 当 A 是 几乎 秩 亏 损 时 , SVD 方法 是 令 人 满意 的 . 
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5.7.3 ”扰动 的 欠 定 方程 组 


我 们 以 满 秩 欠 定 方程 组 的 扰动 结果 来 结束 本 节 . 
定理 5.7.1 假定 rank (A)—- m& n, AC R"*"^,6A c R"*^ 0Zb c RP" 3 
A. 


E = max(e4,€s) < Om(A), 
其 中 ea = [[5All2/I Alla, eo = llóblla/||bl|a. 3e XX x Fo $ RRE 
Az =b, (Ac*6A)$ — b--ób 
的 极 小 范 数 解 ， 则 
|@ — zl 
He 


证 明 $ EON ff 分别 为 64/s 和 5b/s. 注意 , 对 所 有 的 0 < 上 < = 有 
rank (A + tE) =m, MH 


a(t) = (A - tE)T((A -- tE)(A t tE)T) "(b+ tf) 
满足 (4 上 + 十 )z( = b -- tf. 将 此 表达 式 对 t 求 微分 , 并 在 所 得 结果 中 令 上 = 0 可 得 
2(0) = (I — AT(AAT)-1 AJET(AAT)15 + AT (AAT) !(f — Ex). 


< K2(A)(e 4 min(2, n — m 1] + &) + O(e?). 


由 于 
llla = LAT CA AT) T bla > om(A)N(AAT) blo 
|I- AT(AAT)-1 A|| = min(1, n — m), 
flo. WFllstlAlle 
lzla ^ Helle " 
我 们 有 


lë- zl z()-2(0) _ (lo 
e kOl ^^ Tele 

lel, lfl | ley 2 

Semin(l,n "ae * fe qal] (A) + Oe ) 

由 此 知 定理 成 立 . | 5 
注意 ,与 超 定 方程 组 的 情形 不 一 样 , 这 里 没有 n(A)? 因子 . 


+ O(e?) 


3] 题 


5.7.1 ” 试 推出 上 式 中 z(0) 的 表达 式 . 

5.7.2 “寻找 Ax = b 的 极 小 范 数 解 , 其 中 A=(1 2 3],6=1. 

5.7.3 ”说 明 用 QR 分 解 解 欠 定 方程 组 时 如 何 能 避免 求解 三 角形 方程 组 
5.7.4 ”假设 b,x cR" EE, 考虑 下 面 问题 : 

(a) 寻找 一 个 非 对 称 Toeplitz 矩阵 T 使 得 Tw = b; 
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(b) 寻找 一 个 对 称 Toeplitz 矩阵 T 使 得 Tx = b; 

(c) 寻找 一 个 循环 矩阵 C 使 得 Ca = b. 
将 每 个 问题 写成 Ap — b 的 形式 , 其 中 A 是 由 z 的 元 素 组 成 的 矩阵 , p 为 需要 求 的 元 素 所 组 
成 的 向 量 . 


本 节 注 释 与 参考 文献 


有 关 奇 异 方程 组 的 一 些 有 趣 的 现象 见 : 

T. F. Chan(1984). “Deflated Decomposition Solutions of Nearly Singular Systems," SIAM 
J. Num. Anal. 21, 738-754. 

G. H. Golub and C. D. Meyer(1986). “Using the QR Factorization and Group Inversion 
to Compute, Differentiate, and estimate the Sensitivity of Stationary Probabilities for 
Markov Chains,” SIAM J. Alg. and Dis. Methods, T, 273-281. 
关于 欠 定 方程 组 的 文章 包括 : 

R. E. Cline and R. J. Plemmons (1976). “L2-Solutions to Underdetermined Linear Systems,” 
SIAM Review 18, 92-106. 

M. Arioli and A. Laratta(1985). “Error Analysis of an Algorithm for Solving an Underde- 
termined System,” Numer. Math. 46, 255-268. | 

J. W. Demmel and N. J. Higham(1993). “Improved Error Bounds for Underdetermined 
System Solvers,” SIAM J. Matriz Anal. Appl. 14, 1-14. 

QR 分 解 当 然 可 用 于 求解 线性 方程 组 , 见 : 

N. J. Higham(1991). “Iterative Refinement Enhances the Stability of QR Factorization 

Methods for Solving Linear Equations,” BIT 31, 447—468. 


第 6 章 FTA 


并 行 矩阵 计算 现 已 成 为 研究 的 热点 . 尽管 大 部 分 的 工作 是 与 机 器 /系统 相关 的 ， 
还 是 涌现 了 许多 基本 的 技巧 . 本 章 主 要 介绍 这 些 技巧 , 同时 描绘 在 矩阵 计算 的 设计 
中 怎样 用 “并 行 ”去 考虑 问题 . 

我 们 将 考虑 分 布 式 内 存 系统 和 共享 内 存 系统 . 在 6.1 节 中 , AES T) BOR 
乘 来 引出 节点 程序 的 概念 . 同时 讨论 了 均衡 负载 , 加 速 比 和 同步 问题 . 6.2 S RABEE — 
与 矩阵 相 乘 显 示 了 和 拖 阵 分 块 运算 的 效果 并 给 出 了 二 维 数据 流动 的 思想 . 6.3 节 给 出 
了 Cholesky 分 解 的 两 个 并 行 实现 . 


预备 知识 

阅读 本 章 需 要 掌握 第 1 章 以 及 4.1 节 的 知识 和 4.2 节 的 知识 , 本 章 各 节 闻 的 关 
系 如 下 : 

6.15 一 6.2 节 一 6.349 

补充 参考 文献 包括 专著 Schönauer(1987), Hockney and Jesshope(1988), Modi (1988), 
Ortega (1988), Dongarra, Duff, Sorensen, and van der Vorst (1991), Golub and Ortega 
(1993) 及 综述 性 文章 Heller (1978), Ortega and Voight (1985), Gallian, Plemmons, 
and Sameh (1990), Demmel, Heath, and Vander Vorst(1993). 


61 基本 概念 
在 本 节 , 我 们 以 gaxpy 运算 : 
z=Yy+ Áx, AER", m,yzcR" (6.1.1) 


为 例 来 介绍 分 布 式 内 存 系统 和 共享 内 存 系统 . 实际 上 , 这 两 种 类 型 的 并 行 计算 之 界 
限 是 模糊 的 , 而 且 我 们 的 各 种 讨论 之 融合 常常 可 适用 于 任何 具体 机 器 . 


6.1.1 分布 式 内 存 系统 


在 拥有 分 布 式 内 存 的 多 处 理 机 中 , 每 个 处 理 器 都 有 本 地 内 存 并 能 够 执行 其 节点 
程序 . 节点 程序 可 以 改变 所 执行 的 处 理 器 的 本 地 内 存 中 的 值 , 还 能 够 以 消息 的 形式 
向 网 络 上 其 他 处 理 器 传送 数据 . 处 理 器 间 的 互联 定义 了 网 络 拓扑 , 一 个 简单 例子 是 
环 , 用 它 做 入 门 介绍 是 足够 的 . 见 图 6.1.1. 


eae cj] —88 5]- Dno G5] DERE D] - 


6.1.3 四 处 理 器 的 环 
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其 他 一 些 重要 的 互联 结构 包括 网 结构 、 环 面 结构 (与 二 维 数组 密切 对 应 )、 超 
立方 体 (hypercube) 结构 (普遍 性 和 最 优 性 )、 树 形 结 构 (适合 于 分 而 治之 算法 ). X 
于 各 种 情形 的 讨论 请 参阅 Ortega and Voigt(1985). 我 们 的 直接 目标 是 为 (6.1.1) Æ 
立 一 个 基于 环 的 算法 . 基于 环 面 的 矩阵 乘法 将 在 6.2 节 中 讨论 . 

每 个 处 理 器 都 有 一 个 标识 号 , 第 u 个 处 理 器 记 为 Proc(u). HIA Proc(A) 和 
Proc(u) 之 间 有 一 物理 线路 直接 相连 , 则 称 二 者 相 邻 . Ak, 在 有 p 个 处 理 器 的 环 
tH, Proc(p) 5 Proc(p — 1) 和 Proc(1) 相 邻 . 

设计 有 效 的 分 布 式 内 存 算法 的 重要 因素 包括 : (1) 处 理 器 数 和 本 地 内 存 容量 ， 
(2) 处 理 器 间 互 联 方 式 , (3) 计算 速度 与 处 理 器 闻 通 信 速 度 的 比例 关系 , (4) 节点 能 
否 同时 计算 和 通信 . 

6.1.2 ”通信 
用 一 个 简单 的 表示 来 描述 发 收 消息 : 
send((matrix), {接收 处 理 器 的 序号 }) 


recv({matrix}, {发 送 处 理 器 的 序号 }) 


标量 和 向 量 都 可 看 作 和 矩阵 , 因此 都 可 作为 消息 . 在 此 模型 中 , 如 果 Proc(u) 执行 指 
4 send (Vioe, A), 则 本 地 矩阵 Vioc 的 一 个 副本 被 发 送 到 Proc(A), Proc(u) 的 节点 程 
序 被 迅速 恢复 执行 . 处 理 器 发 送 消息 给 自己 也 是 允许 的 . 利用 下 标 loc 来 强调 一 个 
矩阵 被 存储 在 本 地 内 存 中 . 

如 果 Proc(u) 执行 指令 recv(Utoc, A), 那么 节点 程序 暂停 , 直到 收 到 Proc(A) 发 
来 的 消息 为 止 . 一 旦 收 到 , 消息 存 于 本 地 矩阵 Uoc "P, Proc(u) 恢复 节点 程序 运行 . 

尽管 这 种 发 送 /接收 表示 法 足够 我 们 使 用 , 但 其 中 还 是 掩盖 了 许多 重要 细节 . 

。 装配 消 息 开销 ”在 实际 中 , 由 于 一 个 给 阵 的 元 素 有 可 能 在 发 送 者 的 内 存 中 不 
是 连续 存储 的 , 这 会 导致 多 的 耗费 . 我 们 忽略 其 细节 . 

。 标 记 消 息 开销 消息 不 一 定 按 发 送 的 顺序 到 达 . 为 使 接收 者 不 产生 混乱 , 就 
需 对 每 个 消息 加 一 个 标记 . 我 们 假定 消息 总 是 按 发 送 的 顺序 到 达 而 忽略 这 方 
面 的 细节 . 

。 消 息 解释 开销 ”在 实际 中 , 一 个 消息 是 一 组 位 流 , 必须 提供 一 个 信 头 来 告诉 
接收 者 矩阵 的 维 数 和 表示 矩阵 元 素 的 浮 点 字 的 格式 将 消息 转变 为 矩阵 需 
要 时 间 , 但 我 们 没有 去 量化 此 开销 . 

这 些 简 化 使 我 们 把 精力 集中 于 高 层次 的 算法 思想 . 但 应 记 住 任何 一 个 具体 实现 的 成 
功 都 是 与 对 这 些 隐 含 开销 的 控制 分 不 开 的 . 


6.1.3 ” 几 种 分 布 式 数据 结构 


在 我 们 给 出 第 一 个 基于 分 布 式 内 存 算法 之 前 , 必须 考虑 数据 分 配 问题 . 如 何 将 
相关 的 矩阵 和 向 基 在 网 络 上 合理 分 配 ? 
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假定 要 将 数据 z c R^ 分 配 到 含有 p 个 处 理 器 的 网 络 上 的 各 个 本 地 内 存 . WE p 
满足 条 件 n = rp, 解决 此 问题 的 两 种 “标准 ”方法 分 别 是 按 行 存储 和 按 列 存储 . 
在 按 列 存储 方法 中 , 将 向 量 z 看 作 7 x p ÓBEE 
zrxp = |z(1l:r) zr+1:2r) --- æ(1+(p-l1)r:n)], 
将 每 一 列 分 配 至 一 个 处 理 器 中 , BI zx(1 t+ (4 一 1)r: pr) € Proc(u). (在 这 里 € 表示 
“存储 于 ”.) 可 以 看 出 每 个 处 理 器 拥有 z 的 一 段 连续 数据 . 
在 按 行 存储 方法 中 , 将 向 量 x 看 作 p xr FE 
zpxr = [zx(1:p) a(p+1:2p) ££ a((r — Dp+1:n)), 
将 每 一 行 分 配 至 一 个 处 理 器 中 , 即 z(u : p : n) € Proc(u). 按 行 存储 有 时 被 称 作 分 配 
向 量 的 轮流 方法 , 因为 x 中 的 元 素 可 被 看 作 是 一 副 扑克 有 牌 轮流 发 给 每 个 处 理 器 . 
如 果 RE p 的 整数 倍 , 则 稍 做 改动 后 上 述 方案 依然 可 行 . 考虑 n= 14,p = 4 
的 按 列 存储 方法 : 
zT = [zl za Za za | zs Le v7 Tg | Z9 210 T11 | Z12 Z13 Tra]. 
Proc(1) Proc(2) Proc(3) Proc(4) 
一 般 地 , 如 果 n = pr +q R.0O« q « p, Wl Proc(1), --- , Proc(q) 存储 7 十 1 个 元 素 ， 
Proc(g + 1),… , Proc(p) 存储 r 个 元 素 . 在 按 行 存储 方法 中 , WRES Proc(u) 包 
SIGH z(p:p:n). 
类 似 的 选择 同样 适用 于 矩阵 的 数据 分 配 . 如 A e ROX” 且 为 简便 起 见 令 ”= rp, 
则 有 下 述 四 种 分 配 的 可 能 性 . 


方 向 方 X Proc(u) 中 元 素 
列 连续 A(: 14- (p — Y)r : pr) 
5j 轮流 A(,p:p:m) 

f 连续 A(1 + (p — yr : pr, :) 
1T 轮流 A(u:p:m,:) 


SEPARARE SE. 例如 , WR A = [Ai,… , An] 是 按 列 分 块 的 , 可 令 
Proc(u) 来 存储 Ai, HP i= psp: N. 
6.1.4 环 上 的 gaxpy 运算 

现在 为 gaxpy 运算 z = y+Aa(A€ Rn"xn,z,yz € R”) 给 出 一 个 环 上 的 算法 . 
为 清晰 起 见 , 假定 n = rp, 其 中 p 为 环 中 处 理 器 数 . 对 gaxpy 运算 做 如 下 划分 : 
Ay ceo Ap 


之 1 Tı 


, (6.1.2) 


Zp Yp Apr … App Lp 
其 中 A, eRrxr H zi, yi zi € R". 假定 计算 之 前 Proc(u) 中 已 存储 有 zy 和 A 


的 第 p MIR. 我 们 要 求 在 计算 结束 时 用 zu 覆盖 y, 从 Proc(u) 的 角度 看 , 运算 
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p 
Zu = Yi > AprEr 
t=1 


涉及 本 地 数据 (Apr, Yp mu) 和 非 本 地 数据 (zi,7 A u). 为 能 得 到 zx 的 非 本 地 部 分 ， 
令 它 的 子 向 量 在 环 中 循环 . 以 p = 3 为 例 , 按 如 下 所 示 对 zl, z2, zs 作 循环 : 


步 Proc(1) Proc(2) Proc(3) 
1 T3 T1 T2 
2 T2 £3 z1 
3 21 x2 £3 


每 当 z 的 一 个 子 向 量 到 访 时 , 主 处 理 器 必须 以 合适 的 形式 对 其 进行 运算 以 产生 新 
的 和 : 


步 Proc(1) Proc(2) Proc(3) 

1 yı = yi + A1373 y2 = y2 + Àz121 Y3 = ys + Agere 
2 yı = yı + 41272 y2 = yo + A2323 ys = ys + Azizi 
3 yı = yı + Asi Y2 = ya + A22722 y3 = ya + A3323 


概括 地 说 , z 的 子 向 量 走 马 灯 似 地 流动 , 共 经 过 p 站 . 处 理 器 每 接收 到 一 个 x 的 子 
向 量 , 便 进行 一 次 r xr 的 gaxpy 运算 . 

算法 6.1.1 假设 ACR'"",rcR'"ycR"fez-y-cAc. 如果 含 p 个 处 理 
器 的 环 中 的 每 个 处 理 器 执行 如 下 的 节点 程序 , Ln = rp, 那么 结束 后 z(1-- (u— l)r: 
ur) 看 于 Proc(p) 的 yor 变量 中 . 假定 本 地 内 存 有 如 下 初始 化 : pu ( 节 点 序号 )， 
left 和 right( 左 邻 和 右 邻 的 序号 ), n, row = 1+ (u — 1)r : ur, Aloe = A(row, :), Zioc = 
z(row), Yioc = y(row). 

fort=1:p 

send (zloc, right) 


recv (Zioc left) 


T-—pu-—í 
if7 <0 

T=T+p 
end 


{aoc = (1+ (r — l)r : rr)} 
Yloe = Yoc + Aloc(:,1 + (T — L)r : Tr)zioc 
end 

下 标 + 指明 了 当前 所 用 的 x 的 子 向 量 . 这 步 计算 一 旦 完成 , 就 应 对 y 存储 于 本 地 
的 部 分 进行 修正 .send-recv 对 将 当前 存储 的 x 的 子 向 量 发 送 到 右 邻 并 且 等 待 从 
左 邻接 收 下 一 组 值 . 因为 只 有 在 新 的 x 的 子 向 量 到 达 后 才能 开始 对 本 地 y 做 修正 ， 
这 样 便 获得 同步 . 不 可 能 出 现任 一 处 理 器 超前 于 其 他 处 理 器 运算 , 也 不 可 能 有 c 的 
某 子 向 量 在 走马 灯 流程 中 超过 另 一 个 子 向 量 . 本 算法 专 为 环 拓扑 设计 , 通信 仅 涉 及 
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最 近 相 邻 的 两 个 处 理 器 . 此 运算 有 完美 的 负载 均衡 , 这 意味 着 每 个 处 理 器 有 完全 相 
同 的 计算 量 和 通信 量 . 非 均衡 负载 将 在 6.1.7 节 中 进一步 讨论 . 

并 行程 序 的 设计 涉及 许多 单 处 理 器 程序 设计 中 碰 不 到 的 微妙 的 细节 问题 . 例 
如 , 车 我 们 不 小 心 颠倒 seend 和 recv 的 次 序 , 那么 每 个 处 理 器 的 节点 程序 执行 的 开始 
都 在 等 待 其 左 邻 发 送 一 个 消息 . 而 这 个 左 邻 也 在 等 待 它 的 左 邻 发 送 消息 , 便 产 生死 
锁 、 
6.1.5 ”通信 成 本 


如 果 对 发 送 和 接收 消息 的 开销 模型 化 , 就 可 对 通信 成 本 做 出 估计 . 为 此 假定 涉 
E m 个 浮 点数 的 send 和 recv 过 程 需要 
T(m) = ad + Bam (6.1.3) 
秒 的 执行 时 间 . 这 里 ag 是 send 和 recv 过 程 初始 化 所 需 的 时 间 , Ba 是 消息 传送 
速率 的 倒数 . 注意 到 , 此 模型 并 没有 考虑 发 送 者 与 接收 者 之 间 的 距离 . 显然 , 将 一 
个 消息 在 环 上 和 传送 半 圈 要 比 仅 在 相 邻 处 理 器 闻 传 送 耗 时 要 多 .这 就 是 为 什么 总 要 
希望 设计 (只 要 可 能 ) 在 相 邻 处 理 器 间 通 信和 的 分 布 式 计算 . 
在 算法 6.1.1 中 的 每 一 步 都 发 送 和 接收 一 个 > 维 向 量 且 执 行 了 207 KERE 
4r 如 果 每 秒 进行 R 次 浮 点 运算 且 recv 过 程 中 不 存在 等 待 时 间 , 那么 每 次 ye. 更 
新 需 大 约 (2r2/ R) + 2(o4 + Bar) B. 
另 一 个 指标 是 计算 -通信 比 . 对 于 算法 6.1.1 可 描述 成 
HAA 、 Qr?/R) 
通信 时 间 (aa + Bar) 
这 个 比例 量化 了 通信 开销 和 计算 开销 间 的 比例 关系 . EAR, r= n/p BAN, 计算 用 
时 比 也 增加 ?9 . 


6.1.6 ”效率 和 加 速 比 
一 个 p 个 处 理 器 的 并 行 算法 的 效率 ae 


~ pI(p) 
其 中 T(k) EE k 个 处 理 器 上 执行 此 程序 所 需 的 时 | 司 . 如 计算 的 速度 是 每 秒 R flop， 
通信 模型 由 (6.1. 3 所 给 出 , 则 对 算法 6.1.1 中 的 a eames 
T(k) = Y 2(n/k)?/R + 2(aa + Ba(n/E)) = Fe = + 2oqk + 2Ban , 
其 中 及 > 1. 我 们 假定 没有 等 待 时 间 . 如 果 k= 1, 即 无 需 通 信 , 则 T(1) = 2n2/R. 可 
以 看 出 效率 1 
1 十 Pt (a42 + 8) 


@ 我 们 指出 , 这 些 简单 度量 对 于 节点 能 同时 计算 和 通信 的 系统 不 能 说 明 什 么 . 
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BE ” 增 大 而 提高 , 随 p 或 R 增 大 而 降低 . 在 实际 应 用 中 , 只 有 用 标准 检测 程序 才 是 
评估 效率 的 唯一 可 靠 方法 . 
与 效率 相关 的 一 个 概念 是 加 速 比 . 如 果 
S= Tseq/Tpar: 


则 称 解决 一 个 特定 问题 的 并 行 算法 获得 加 速 比 9, 其 中 Tou. 是 执行 一 个 并 行程 
序 所 需 的 时 间 , Tsea 是 单个 处 理 器 运行 最 有 效 的 单 处 理 程序 时 所 需 的 时 间 . 对 某 
些 问题 , 最 快速 的 串 行 算法 不 是 并 行 的 , 因此 , 加 速 比 的 评估 涉及 两 种 截然 不 同 的 
算法 


.6.1.7 ”均衡 负载 问题 


如 将 算法 6.1.1 应 用 于 下 三 角形 矩阵 A e R?*^, 由 于 (6.1.2) 中 的 Ay 有 一 半 
为 零 , WS yoc 的 更 新 相关 的 近 一 半 浮 点 运算 将 没有 必要 进行 了 . 确切 地 说 , 在 第 
p 个 处 理 器 上 , WE r> 4 的 Auc; 14+ (7 — 3)r: rr) AE. 因此 , 如 果 保 证 yio 的 
更 新 按 下 述 方法 进行 , 那么 总 的 浮 点 运算 次 数 将 减 半 . 

ifr<cp 

Yloc = Yoc + Atoc(:, 1 + (T — 1)r : Tr)£1oc 


end 
这 样 做 解决 了 多 余 的 运算 问题 但 产生 了 不 均衡 负载 问题 . 在 Proc(u) 上 进行 大 约 
ur? /2 次 浮 点 运算 , 它 是 关于 处 理 器 序号 / 的 增 函 数 . 考虑 下 面 7 =p = 3 的 例子 : 


21 Zi Ui 
22 T2 ya 
23 T3 ya 
A T4 ya 
25 |= z5 | +| Ys 
26 T6 Ye 
27 TT wr 
28 T8 Ys 
zg Tg yo 


这 里 Proc(1) 处 理 o 部 分 , Proc(2) 处 理 8 部 分 , Proc(3) 处 理 y 部 分 . 
然而 , 如 果 处 理 器 1, 2 和 3 分 别 计算 (21, 24, 27), (22, 25, 28) 和 (23, 26, 29); 就 会 
导致 近似 的 均衡 负载 : 
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cal 0 21 yi 
Z4 0 T2 V4 
Z7 0 T3 yr 
Z2 0 X4 wa 
2 |= 0 25 | + | V5 
28 0 Xe Ys 
23 0 £7 ws 
26 0 Tg Ve 
29 Y y YY YIY Y 7 T9 V9 


运算 量 虽 仍 随 j 增 大 而 增 大 , 但 在 n > p 时 不 明显 . 
设计 一 般 的 算法 需要 一 些 对 下 标的 操作 . 假定 在 Proc(u) RYE Aoc = 4(/ : 
pin) 和 yc = y(p:p: n), 并 假定 连续 的 z 子 向 量 如 前 述 一 样 循环 . 如 在 某 步 
Loe 包含 z(1 十 (7 一 1)7 :77), 则 更 新 
Yloc = Moc + Aloc(:,1 + (T — 1)r : Tr) toc 
的 实施 为 
y(n:p:n) — (u:p:n) t A(p:p:m, 1o (7 — Ür:rr)a(1 (7 — Ur : 7r). 
为 在 oc 的 计算 中 利用 A 的 三 角 结 构 , 我 们 用 双重 循环 形式 表示 gaxpy 运算 : 
fora=Il1:r 
for G=1:r 
Yloc(@) = Yroc(@) + Aela, B + (T — 1)r) rc (8) 
end 
: end 
Aic 代表 A(u + (a 一 1)p, B + (7 — 1)r), 它 当 列 下 标 大 于 行 下 标 时 为 零 . 基于 这 种 
思想 , 我 们 缩短 内 循环 的 范围 , 得 到 下 列 算法 . 
算法 61.2 ”假设 Ac R"",z,y € R^ de z— y c Ac. iE n—rp RAAF 
三 角形 矩阵 . du Ap 个 处 理 器 的 环 中 的 每 个 处 理 器 执行 如 下 的 节点 程序 , 那么 结 
Rat z(u:p:n) AT Proc(u) 的 yo REP. 假定 本 地 内 存 有 如 下 初始 值 : pun CR 
点 序号 ), left 和 right( 左 邻 和 右 邻 标识 号 ), n, Aic = A(u: pin.) uec — vp p: m) 
和 Boo = z(1-- (p — l)r : ur). 
r — n/p 
for t=1:p 
send (ioc, right) 
recv (Zioc, left) 
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TH=p-t 
if; <0 
T=T+p 
end 
{zioc = (1+ (7 — 1)r : rr)) 
fora=1:r 
for B=1:p+(a-—1)p—(7r-1)r 
Yloc(@) = Yloc(a) + Aloc(a, 8 + (T — 1)r)£ioc(8) 
end 
end 
end 
下 标 值 不 得 不 在 节点 空间 和 全 局 空间 之 间 来 回 改变 是 分 布 式 和 矩阵 计算 中 需要 小 心 
谨慎 和 (希望 ) 得 到 编译 程序 支持 的 一 个 方面 . 


6.1.8 “平衡 协调 问题 (Tradeoffs) 


类 似 于 1.1 节 , 我 们 给 出 一 个 基于 列 的 gaxpy 运算 并 预测 它 的 性 能 . 对 A 作 列 


分 块 : 
A= [A , Apl, A; c R?*7, r=n/p, 


gaxpy 运算 z= y+ Ax 变 成 
p 
z=yt X V WE AE 


p=1 
其 中 zj = z(1+ (a — 1) : ur). 假定 Proc(u) 中 存储 了 A, 和 w. 它 对 整个 gaxpy 
的 贡献 是 提供 了 积 Ar, 而 且 只 涉及 本 地 数据 ， 然 而 , 还 需 对 这 些 积 做 累加 ， 让 
Proc(1) 来 承担 累加 的 工作 , 假定 它 已 存储 v. 因此 算法 的 思想 是 每 个 处 理 器 都 计 
算 Aux, 然后 将 结果 送 至 Proc(1). 
算法 6.1.3 ”假设 ACR" gy € R^ fe z=yt Az, de X p 个 处 理 器 的 
环 中 的 每 个 处 理 器 执行 如 下 的 节点 程序 , Hon — rp, WERE, z AF Procl) 中 . 
假定 本 地 内 存 有 如 下 初始 值 : p.p (FRA), m Bloc = (1 十 (4 一 Dr : ur), Atoc = 
A(:,1 + (u — 1)r : ur), 和 ( 仅 在 Proc(1))ytoc = y. 
if u —1 
Vloc = Moc + Aloc®loc 
fori =2:p 
recv (Wioc, t) 
Yloc = Yloc + loc 
end 
else 


Wioc = AlocTloc 
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send (wioc, 1) 
end 
初 看 起 来 此 算法 与 基于 行 的 算法 6.1.1 相 比 似乎 缺少 吸引 力 . Proc(1) 的 额外 工作 
意味 着 它 需 承担 原来 的 
2n? /p 4- np 214 p 
2n? /p 2n 
倍 的 工作 量 , 并 且 处 理 原 来 的 p 倍 的 消息 . 这 种 不 均衡 在 n > p 和 通信 参数 aa 和 
Ba 足够 小 时 显得 无 足 轻重 ， 另 一 个 可 能 优势 在 于 算法 6.1.3 对 长 度 为 n 的 向 量 进 
行 运算 而 算法 6.1.1 对 长 度 为 n/p 的 向 量 进行 运算 . 在 节点 允许 的 条 件 下 , 加 长 向 
量 会 提高 性 能 . 
算法 6.1.1 和 算法 6.1.3 这 一 简单 比较 再 次 提醒 我 们 , 同样 的 计算 采用 不 同 的 
实现 方法 能 有 很 不 同 运算 特性 . 
6.19 ”共享 内 存 系统 


接 下 来 讨论 基于 共 宫 内 存 的 多 处 理 机 上 的 gaxpy 问题 . 在 此 环境 中 每 个 处 理 
器 去 访问 公共 的 全 局 内 存 , 如 图 6.1.2 所 示 . 通过 不 断 读 写 位 于 全 局 内 存 的 全 局 变 
量 来 实现 处 理 器 间 的 通信 . 每 个 处 理 器 拥有 自己 的 本 地 内 存 并 执行 本 地 程序 , 在 执 
行 过 程 中 , 数据 不 断 流 入 流出 全 局 内 存 . 

共享 内 存 计算 中 所 考虑 的 所 有 问题 都 以 不 同 的 形式 摆 在 我 们 面前 ， 整 个 程序 
应 该 是 均衡 负载 的 , 对 计算 过 程 的 安排 应 使 任 一 独立 的 处 理 器 等 待 它 计 算 所 用 数据 
时 间 尽 可 能 少 . 全 局 内 存 和 本 地 内 存 之 间 的 数据 交换 必须 认真 处 理 , 因为 数据 交换 
在 整个 系统 开销 中 占 相 当 比 重 ，( 它 类 似 于 分 布 式 内 存 系统 中 的 处 理 器 间 通 信和 和 如 
1.4.5 节 中 所 述 的 不 同 级 的 存储 之 间 数 据 的 流动 ). 处 理 器 与 共享 内 存 之 间 的 物理 连 
接 的 方式 非常 重要 , 它 影响 到 算法 设计 . 然而 , 为 简化 问题 , 我 们 将 系统 的 这 一 方面 
看 作 如 图 6.1.2 所 示 的 黑 盒子 . 


图 6.1.2 ”四 处 理 器 共享 内 存 系统 


6.1.10 ”共享 内 存 的 gaxpy 算法 
考虑 将 n x n 的 gaxpy 问题 z = yt Ar 做 如 下 划分 


t 


x. (6.1.4) 
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在 此 假定 n= rp B. A, ER” y, zp € Rr. 我 们 用 以 下 算法 来 介绍 基本 思想 和 记 
号 . 

算法 6.1.4 ”假设 ACR"",z,y ER” 郁 储 于 全 局 内 存 中 且 能 被 Pp 个 处 理 器 
访问 . toRn=rp, 每 一 个 处 理 器 执行 如 下 的 节点 程序 ,那么 结束 时 2 被 z 一 2 二 A4mz 
B ES 假定 每 个 本 地 内 存 有 如 下 初始 值 : pun (节点 序号 ), n 

r=n/p 

row=14+(u—1)r: pr 

Zloc = T 

Yloc = y(row) 

for j=1:n7 

aioc = A(row, j) 
Yloc = Yloc + @locLioc (J) 

end 

(row) = voc 
候 定 在 每 个 处 理 器 中 都 有 一 份 这 个 程序 . 属于 单个 处 理 器 的 本 地 浮 点 变量 带 有 “loc” 
下 标 . 

在 算法 6.1.4 的 执行 中 , 数据 不 断 流 入 流出 全 局 内 存 . 在 循环 前 有 两 次 读 全 局 
内 存 操作 (2100 = z 和 moc = y(row)), 循环 中 有 一 次 读 操作 (aioe = A(row, j)), 循环 
后 有 一 次 写 操作 (y(row) = tioc). 

对 于 y 在 全 局 内 存 中 的 某 一 部 分 , 只 有 一 个 处 理 器 对 其 进行 写 操作 , 因此 不 必 
对 参加 计算 的 处 理 器 进行 同步 . 在 整个 gaxpy 运算 过 程 中 , 每 个 处 理 器 都 有 完全 独 
立 的 工作 , 因此 不 必 监 视 其 他 处 理 器 的 工作 情况 . 因为 对 工作 的 分 配 是 在 执行 前 已 
决定 好 的 , 这 种 计算 称 为 静态 调度 . 

如 果 A 是 下 三 角形 矩阵 , 则 在 算法 6.1.4 中 要 采取 措施 以 保证 负载 均衡 正如 
6.1.7 节 中 所 讨论 的 , 轮流 分 配 是 一 种 有 效 办 法 . 将 z(u: pin) =y(wipin)+ Alu: 
p :n,:)z 分 配给 Proc(u) 就 将 n? 次 浮 点 运算 在 p 个 处 理 器 间 有 效 地 分 配 . 


6.1.11 内存 间 数 据 通信 开销 


重要 的 是 要 认识 到 整个 算法 的 表现 很 强 地 依赖 于 对 全 局 内 存 的 读 写 开销 ， 如 
果 一 次 数据 传送 中 涉及 m 个 浮 点 数 , 则 传送 时 间 之 模型 为 
T(m) = as + Bsm. (6.1.5) 
参数 a。 代表 通信 过 程 启动 开销 , 0, 是 传送 速度 的 倒数 . 在 分 布 式 环境 中 我 们 是 用 
相同 的 方式 建立 处 理 器 间 的 通信 模型 ( 见 (6.1.3)). 
数 一 下 算法 6.1.4 中 共享 内 存 的 所 有 读 写 , 我 们 发 现 每 个 处 理 器 在 与 全 局 内 存 
通信 时 花费 的 时 间 为 


n2 
T z (n +3)as 十 Po 
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我 们 组 织 计算 的 方式 是 使 每 次 从 共享 内 存 中 读 取 A(row,:) 的 一 列 . 如 果 本 地 
内 存 足 够 大 , 算法 6.1.4 中 的 循环 可 改写 为 
Aloc = A(row, :) 
Yloc = Yloc + AtocLioc- 
这 使 通信 开销 变 为 
T © 3ae + PS 
当 启 动 时 间 as TRAN, 是 显著 的 改进 . 
6.1.12 ”障碍 同步 
下 面 考虑 面向 列 的 gaxpy 运算 (算法 6.1.4) 的 共享 内 存 形式 . 假定 n= rp 和 
col = 14 (p — 1)r : ur. 一 个 合理 的 想法 是 用 一 个 全 局 数组 W (1 sn, 1: p) 来 存放 每 
个 处 理 器 产生 的 积 AC, col)ar(col), 然后 选 定 一 个 处 理 器 (如 Proc(1)) 来 做 累加 ， 


Aoc = A(:, col); Tioc = zx (col); UJloc = AlocTloc; Wt, H) = Cloc 


ifu=1 
Yloc = V 
for j=1:p 
Woe = W(:, j) 
Yloc = Yloc F Wioc 
end 
Y = Vioc 
end 


然而 , 这 个 方案 有 一 个 严重 缺陷 , 它 不 能 保证 Proc(1) 在 做 累加 前 W(1:n,1:p) 已 
被 赋值 . 

我 们 需要 的 是 有 一 种 同步 机 制 将 Proc(1) 的 累加 运算 延迟 至 所 有 的 处 理 器 都 
计算 完 各 自 的 结果 并 存储 到 W 数组 之 后 才 开始 为 此 , 许多 共享 内 存 系统 都 支持 
一 种 阻塞 机 制 barrier, 它 在 下 列 算法 中 引入 . 

算法 61.5 ”假设 A Ee RR"x",z,y ER” 存储 于 全 局 内 存 中 且 能 被 p 个 处 理 器 
访问 dX n= rp, 每 一 个 处 理 器 执行 如 下 的 节点 程序 , 那么 结束 时 2 被 + Ax 
RE. 假定 本 地 内 存 有 如 下 初始 值 : pn CR RUF), n. 

r = n/p;col = 1 + (p — l)r : pr; Atoc = AG, col); zioc = z(col) 

Wioc = 4ioczloc 

W(:, p) = toc 

barrier 

ifu-l 

Yloc = Y 
for 7 =1:p 
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Uloc = W(:, j) 
Vioc = Moc + Wloc 
end 
V = Yloc 
end 
为 了 理解 barrier, 可 将 一 台 处 理 器 看 作 或 是 截 住 的 或 是 自由 Bj. 当 执行 barrier 语 
名 时 , 处 理 器 被 截 住 , 程序 被 暂停 . 当 p 个 处 理 器 都 被 截 住 时 , 所 有 处 理 器 都 返回 到 
自由 状态 并 恢复 执行 程序 . 可 将 barrier 想 象 为 p 个 处 理 器 想 横 渡 一 条 和 急流. AT 
安全 , 他 们 在 跨越 前 都 到 岸 边 集 合 . 当 最 后 一 个 抵达 后 , 他 们 一 起 涉 过 急流 , 然后 分 
别 继续 各 自 的 旅行 . 
在 算法 6.1.5 P, 处 理 器 算 完 矩阵 乘 向 量 的 积 后 被 截 住 . 我 们 并 不 能 预见 处 理 
器 被 截 住 的 顺序 . 但 一 旦 最 后 一 个 处 理 器 也 被 截 住 , 他 们 全 被 解放 , Proc(1) 就 能 开 
始 执行 向 量 累加 运算 . 


6.1.13 ”动态 调度 


如 不 采取 选 定 某 一 个 处 理 器 来 做 向 量 累加 的 方法 , 我 们 可 以 让 每 个 处 理 器 将 其 
计算 结果 直接 加 到 全 局 变量 y 中 . 对 Proc(u) 来 说 , 这 意味 着 要 执行 如 下 指令 : 

r = n/p;col = 1 + (u — Y)r : pr; Atoc = A(:, col); Loc = z(col) 

Uloc = Aloctloc; 

Yloc = Yi Yloc = Yloc + loci Y = Yloc 
这 样 , 一 个 问题 包含 读 -更 新 - 写 三 部 曲 : 

Yoc =Y; Yloc = Yloc t Wloc; Y = Yloc 

事实 上 , 如 果 不 只 一 个 处 理 器 同时 执行 这 个 代码 段 , 则 可 能 会 造成 信息 丢失 . 考虑 
如 下 执行 顺序 

Proc(1) È y 

Proc(2) È y 

Proc(1) 5$ y 

Proc(2) 5 y 
由 于 Proc(1) 和 Proc(2) 对 同一 个 y 进行 操作 , Proc(1) 计算 的 结果 没有 起 到 应 起 
的 作用 . 由 于 Proc(2) 的 写 操作 使 得 Proc(1) 的 写 操作 无 效 . 

为 防止 这 种 情况 发 生 , 大 多 数 共享 内 存 机 器 支持 临界 区 (critical section) 的 概 
S. 临界 区 是 节点 程序 中 特殊 的 孤立 段 , 它 需 要 有 “钥匙 ” 才能 进入 . 在 整个 机 器 
中 , 由 于 只 有 一 把 铀 匙 , 因此 在 任 一 特定 的 时 刻 , 只 有 一 个 处 理 器 能 执行 临界 区 程 
序 . 

算法 6.1.0 I AER” x,y € R" 存储 于 全 局 内 存 中 且 能 被 D 个 处 理 器 
访问 . 如 果 n rp, 每 个 处 理 器 执行 如 下 的 节点 程序 , 那么 在 结束 时 , y Ry 十 Av 
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AG. 假定 本 地 内 奏 有 如 下 初始 值 : p, 4 CR RU), n. 
r=n/p;col=1+4+ (u — l)r : pr; Aloe = Al:, col); zioc = z(col) 
Uloc = AlocLioc | 
begin critical section 
Vloc = y 
Yloc = Yloc + Wloc 
Y = Woc 
end critical section 
临界 区 概念 的 引入 保证 了 y 能 够 正确 地 被 更 新 ， 由 于 此 算法 中 累加 的 顺序 是 在 计 
算 进行 过 程 中 决定 的 , 因此 称 为 动态 调度 . 在 解决 非 规则 问题 时 动态 调度 是 非常 重 
要 的 . 


习 题 


6.1.1 ”修改 算法 6.1.1 使 其 能 处 理 任意 的 n f. 

6.1.2 ”修改 算法 6.1.2 使 其 能 有 效 处 理 上 三 角形 矩阵 . 

6.1.3 (a) 修改 算法 6.1.3 和 算法 6.1.4 使 得 对 每 个 处 理 器 , 给 定 正 数 m, 可 以 用 z = 
y+ A"z 来 覆盖 y. (b) 修改 算法 6.13 和 算法 614 用 z= y+ A oe 覆盖 y. 

6.1.4 ”修改 算法 6.1.3 使 算法 执行 完 后 4 + zyT 的 第 / 个 列 块 存储 于 Proc(u) 的 本 地 
数组 Asoc F. 

6.1.5 ”修改 算法 6.1.4 使 得 (a) 4 被 外 积 更 新 A + oy” 所 覆盖 . (b) 用 A’ Wms z, 
(c) y MH y+ Aba 方向 上 的 单位 2 范 数 向 量 覆盖 . (d) 当 A 为 下 三 角形 矩阵 时 , 该 算法 能 有 效 
地 执行 . 
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6.2 和 矩阵 乘法 
在 本 节 中 我 们 给 出 矩阵 与 矩阵 相 乘 的 两 个 并 行 算法 .共享 内 存 的 算法 用 来 说 
明 分 块 和 均衡 负载 的 效果 . 基于 环 面 结构 的 算法 表达 了 二 维 数据 流动 思想 . 
6.2.1 分 块 gaxpy 算法 


假设 A,B,C e R", B 是 上 三 角形 矩阵 , 考虑 在 含 p 个 处 理 器 的 共享 内 存 系 
统 中 计算 矩阵 乘法 修正 : 
D=C+AB. (6.2.1) 


假定 n = rkp, 且 将 上 式 分 块 : 
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[Di,:-- ;Di.5] = [C1,:…: ; Ck.p] + [Ai , Ak-pl| B1, 


其 中 每 个 列 块 的 宽度 为 r= n/(kp). 如 果 


Bi; 
B; = v , Bij ER”, 
0 
则 
j 
Dj — Cj +AB;= Ci + 3 Ar Bry. 
T=1 

计算 D; 所 需 的 flop 数 为 


2n 


3 
fj = 2nr?j= (Za) j. 


Bros (6.2.2) 


(6.2.3) 


AB 是 上 三 角形 矩阵 , f; 是 关于 j 的 增 函 数 ， 正 如 我 们 在 前 一 节 所 发 现 的， 由 
三 角形 矩阵 结构 带 来 的 负载 不 均衡 问题 可 由 轮流 分 配 法 来 解决 .这 意味 着 分 配给 


Proc(u) 的 任务 是 计算 满足 j = u: p: kp BY Dy. 


算法 6.2.1 MIRA, B,C X n x n BH, 存储 于 全 局 内 存 中 且 能 被 p 个 处 理 
器 访问 . 如 果 BELA ABSEB nc rkp, 每 个 处 理 器 执行 如 下 的 节点 程序 ， 那 
么 结束 后 CR D=C+ABAA. 假定 本 地 内 存 有 如 下 初始 值 : nur k p p CR 


序号 ). 
for j=h:p: kp 
{计算 D;.} 
By; = B(1: jr,1+ (j — Dr: jr) 
Cioc = C(:,14+ (j — Dr: jr) 
forr-1:j 
col — 1-4 (r - Dr : rr 
Ajoc = A(:, col) 
Choc = Cloc  Aioc Bioc(col, :) 
end 
C(, 1+ (j — Ir: jr) = Cioc 
end 


我 们 用 一 个 关于 参数 k 的 函数 来 评估 负载 的 均衡 度 . Proc (u) 所 需 的 flop 数 为 


k 
F(u) = > FutG-1)p © (i +> 
i=1 


k?p\ 2n? 
k?p?” 
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从 flop 数 来 看 , 商 F(p)/ F(1) 是 负载 平衡 的 一 个 量度 . 由 
F(p) _ kp+k?p/2 4, ，2@ 一 了 
F(1) k + k?p/2 2+ kp 
可 以 看 出 随 增 大 计算 均衡 度 增加 . 做 类 似 的 分 析 可 看 出 通信 开销 也 随 k 增加 而 
趋 于 平衡 . 
另 一 方面 , 算法 6.2.1 中 对 全 局 内 存 的 读 写 次 数 随 k 的 平方 增 大 而 增加 ， 如 
(6.1.5) 中 启动 参数 as 很 大 , 那么 性 能 随 增加 而 降低 . 
由 于 这 两 种 相 了 矛盾 的 影响 , k 的 最 佳 选择 是 与 机 器 相关 的 ， 如 果 通 信 加 快 了 ， 
则 可 把 任务 分 得 很 小 而 不 带 来 困难 , 因而 就 容易 获得 负载 平衡 . 具有 这 种 性 质 的 多 
处 理 机 支持 用 单位 被 分 得 很 小 的 并 行 算法 . 然而 , 如 果 在 具有 高 性 能 节点 的 系统 中 
单位 划分 过 小 , 则 节点 程序 就 会 因 没 有 足够 的 本 地 线性 代数 而 不 能 用 二 级 或 三 级 运 
算 . 再 次 强调 , 标准 检测 程序 是 用 来 评估 的 唯一 方式 . 
6.2.2 ”基于 环 面 存储 结构 (Torus) 的 运算 


环 面 (Torus) 是 行 和 列 都 为 环 的 二 维 处 理 器 数组 , 参见 图 6.2.1. 在 这 里 处 理 器 
序号 是 一 个 有 序 对 , 且 每 个 处 理 器 有 四 个 邻居 . 在 如 下 示例 中 , Proc(1, 3) 的 西 邻 是 
Proc(1, 2), 东 邻 是 Proc(1, 4), 南 邻 是 Proc(2, 3), 北 邻 是 Proc(4, 3). 


下 Proc(1,1) 


et 1) 


EHE 


图 6.2.1 4x4 的 环 面 


为 说 明 如 何 组 织 环 面 结构 上 的 握 阵 计算 , 我 们 设计 一 个 算法 来 计算 矩阵 乘法 
D-C- AB, 其 中 A,B,C e R”. 假设 环 面 结构 是 pi x pi 的 , BA n= rp. 将 
A = (A4), B = (By), C = (Cj) 看 作 是 含有 pl xp 个 块 , 每 块 大 小 为 >xr 的 分 
块 矩阵 . 假设 Proc(i,j) 储存 了 Ai, Bi, Cu, 它 的 任务 是 用 
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n 
Di; = Cij + X AxBs; 
k—1 

来 覆盖 Cu. 我 们 从 p = 3 的 情形 来 导出 一 般 算法 , 将 环 面 存储 结构 以 如 下 形式 表 
WR: 

Proc(1, 1) Proc(1, 3) 

Proc(2, 1) Proc(2, 3) 

Proc(3, 1) Proc(3, 3) 
我 们 集中 注意 力 于 Proc(1, 1) 以 及 计算 

Dy = Cn + An Bi + AiBzg AB. 

假定 用 于 确定 分 块 点 积 的 六 个 输入 量 在 环 面 结构 的 存储 位 置 如 下 : 


Au Bii A12 . Ais ° 


(表格 中 的 点 不 必 理 会 , 它们 在 后 面 被 Aj 和 By 所 代替). 
我 们 让 A 的 第 一 行 块 和 B 的 第 一 列 块 都 经 过 Proc(1, 1) 依次 轮转 . 这 样 A 
Al Bi, Aig 和 Ba, Ais 和 Bai, 将 成 对 相遇 、 相 乘 , RIGS Cio. FAM. 


Aiz B21 Ais . Anu . 
. Bai . 


> Bu [| 


Croc = Croc + Air Ba 


Cloe = Cioc + Aı3B3ı 


Choc = Choc + A, Bi 


做 完 上 述 三 步 后 , Proc(1, 1) 的 本 地 数组 中 就 有 了 Dis. 
在 环 面 存储 结构 中 我 们 安排 的 数据 流动 是 Ai; 向 西 流动 , Ba 向 北 流动 . 显然 
Proc(1, 1) 应 执行 如 下 节点 程序 : 
for t=1:3 
send (Ais, west) 
send (Bioc, north) 
recv (Ajoc, east) 
recv (Bloc, south) 
Cloc = Cloc + Aloe Bloc 


end 
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下 述 的 send-recv-send-recv 的 顺序 : 
fort=1:3 
send (Aloc, west) 
recv (Aloc, east) 
send (Bioc north) 
recv (Bioc, south) 
Cioc = Cloc + Atoc Bloc 

end 
也 是 可 行 的 . 但 是 由 于 B 的 子 块 必须 等 到 新 的 4 的 子 块 到 达 后 才能 发 送 , 这 就 带 
来 了 不 必要 的 延迟 . 

下 面 讨 论 Proc(1, 2), Proc(1, 3), Proc(2, 1) 和 Proc(3, 1) 的 工作 . MRA ATHY 
情形 , 这 些 处 理 器 的 作用 只 是 帮 着 循环 块 A11, A, Ais 和 Bu, Ba, Bai. 如 果 在 
这 些 步 中 B32, Bi, Ba 的 数据 流 过 Proc(1, 2), 则 可 算出 D12: 

Dis = Ci2 + A13 B32 + A11 B12 + Ai2 B22. 
同样 , 在 t= 1:3 时 , 如 果 Proc(1, 3) PA Bis, Bos, Bas 的 话 , 则 可 算出 Dis = 
Cis 十 A11B13 + A12B23 + A13B33. 综 上 所 述 , 设 环 面 存 储 结构 的 初 值 如 下 : 


Bu 


Bn MIO Ba 


将 Bi; 做 向 北 流动 , 得 到 


Az Bn An Bs 
Ba D Bm t=1 
Bu | > č Bn | * Ba 

As Ba Az Ba 

By [Ba | Bs t=-2? 
Bn | * Bs | * Ba 

An Bu As Bas 

Bn | Be | Bio 1-3 
Ba ° Bi; . B23 


因此 , 如 果 把 B 按 交 错 的 顺序 预先 分 配 到 环 面 存储 结构 中 , 就 可 用 第 一 行 的 处 理 
器 来 计算 C 的 第 一 行 块 . 

如 果 用 类 似 的 方法 将 4 的 第 二 行 和 第 三 行 也 作 交 错 放 置 , 则 每 一 步 可 使 九 个 
处 理 器 都 进行 乘 -加 运算 . 确切 地 说 , RIE- 
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从 这 个 例子 我 们 引出 一 般 的 算法 . 假设 初始 时 Au. Bi; 和 C; 存储 于 Prochi, j) 中 . 
为 了 获得 数据 4 的 交错 安置 , 注意 到 第 i 行 处 理 器 中 的 A, 需 向 西 移动 i 一 1 个 
位 置 . 同样 , 第 1 列 处 理 器 中 的 Bu; 需 向 北 移动 了- 1 个 位 置 . 算法 如 下 : 
算法 6.2.2 MA A c€ R?” B eR"x",C e R?” 4x, LHX D=C+AB. 
如 果 pl xp 环 面 机 器 的 每 个 处 理 器 执行 如 下 的 节点 程序 且 有 n= rp, 则 结束 后 
Proc(uA) 的 本 地 变量 Cio. 中 储存 Did. 假定 本 地 内 存 有 如 下 初始 值 : pi, (p, A) 
(节点 序号 ), north, east, south 和 west(vs 4g 的 序号 ), row-14-(p — 1)r : pr, col = 
1 4- (A — Dr : Ar, Aic = A(row, col), Bis, = B(row, col) 和 Choc = C(row, col). 
{交错 Au 和 Baj 
fork —21:p—1 
send (Aloc, west); recv(Aioc, east) 
end 
fork —1:A-1 
send (Bloc, north); reev(Bioc, south) 
end 
for k = 1 : pı 
Cioc = Cloc + Aoc Bloc 
send (Aoc, west) 
send (Bioc, north) 
recv (Aoc, east) 


recv (Bioc, south) 


6.2 4& BE RR 265 


end 
{Au fe Ba 984i) 
fork —1:u—1 


send (Ajoc, east); recv( Aic, west) 


end 
fork —1:A-1 

send (Bjoc, south); recv (Bioc, north) 
end 


不 难看 出 , 随 着 n/p 的 增加 , 本 算法 的 计算 -通信 比 趋 近 于 零 
3 HB 


6.2.1 “设计 算法 6.2.1 的 环 实现 . 
6.2.2 ”一 个 上 三 角形 矩阵 可 被 其 平方 履 盖 而 不 需 额 外 有 存储 空间 , 写 一 个 动态 的 基于 共 
享 内 存 的 算法 . 


本 节 注 释 与 参考 文献 


二 维 数组 的 矩阵 计算 的 讨论 见 : 

H. T. Kung(1982). “Why Systolic Architectures?,” Computer 15, 37—46. 

D. P. O'Leary and G. W. Stewart(1985). “Data Flow Algorithms for Parallel Matrix Com- 
putations,” Comm. ACM 28, 841-853. 

B. Hendrickson and D. Womble(1994). “The Torus-Wrap Mapping for Dense Matrix Calcu- 
lations on Massively Parallel Computers,” SIAM J. Sci, Comput. 15, 1201-1226. 
并 行 矩 阵 乘法 的 一 些 研 究 结果 见 ; 

L. E. Cannon(1969). A Cellular Computer to Implement the Kalman Filter Algorithm, Ph. 
D. Thesis, Montana State University. 

K. H. Cheng and S. Sahni(1987). “VLSI Systems for Band Matrix Multiplication,” Parallel 
Computing 4, 239-258. 

G. Fox, S. W. Otto, and A. J. Hey (1987). “Matrix Algorithms on a Hypercube I: Matrix 
Multiplication,” Parallel Computing 4, 17-31. 

J. Berntsen(1989). “Communication Efficient Matrix Multiplication on Hypercubes," Par- 
allel Computing 12, 335-342. 

H. J. Jagadish and T. Kailath (1989). “A Family of New Efficient Arrays for Matrix Multi- 
plication,” IEEE Trans. Comput. 38, 149-155. 

P. Bjørstad, F. Manne, T. Sgrevik, and M. Vajteráic(1992). “Efficient Matrix Multiplication 
on SIMD Computers,” SIAM J. Matriz Anal. Appl. 13, 386-401. 

K. Mathur and S. L. Johnsson(1994). “Multiplication of Matrices of Arbitrary Shape on a 
Data Parallel Computer,” Parallel Computing 20, 919-952. 


266 $63 HARE 


R. Mathias(1995). “The Instability of Parallel Prefix Matrix Multiplication,” SIAM J. Sci. 
Comp. 16, 955-973. 


6.3 B Ek 3 f 


本 节 中 我 们 给 出 两 个 并 行 Cholesky 分 解 算 法 . 为 展示 基于 分 布 式 内 存 的 分 解 
运算 是 什么 样 的 , 我 们 给 出 一 个 基于 环 结构 的 gaxpy Cholesky 算法 . 同时 详细 给 出 
了 外 积 形式 的 Cholesky 方法 之 共享 内 存 实现 . 

6.3.1 ”基于 环 的 Cholesky 分 解 


下 面 让 我 们 看 看 如 何 将 Cholesky 分 解 分 布 到 p 个 处 理 器 的 环 上 . 出 发 点 是 关 
系 式 


pol 
G(u, p)G(u : n, p) =Al : n p) — 2 GU IG : n, J) = vle : n). 
j=l 


这 个 等 式 是 通过 取 nxn 方程 A = GGT 的 第 p 列 得 到 的 . 一 旦 得 到 向 量 v(j : n)， 
则 G(s: n, u) 可 通过 简单 数 乘 
G(p : n, p) = v(u : n)/ Volu) 
来 得 到 . 为 简明 起 见 , 假定 n =p, Au: mw p) BEF Proc(u) 中 . 执行 结束 时 , 每 个 
处 理 器 用 G 的 列 取 覆盖 A 相应 的 列 . 对 于 Proclu) 来 说 , 此 算法 需 进 行 py 一 1 次 
形 如 
A(p : nu) — Alp : n, p) — Glu, IG: n. j) 


的 saxpy 更 新 , 然后 是 一 次 求 平方 根 和 一 次 数 乘 运算 . 于 是 , Proc(u) 的 节点 程序 的 
大 概 流程 如 下 : 
for j=1:p-1 
从 左 邻 接收 一 个 G 列 
如 必要 , 将 接收 到 的 G 列 的 副本 发 送 给 右 邻 
更 新 Alu: nu) 
end 
生成 G(p : n, u), 如 必要 ,发送 给 右 邻 
这 样 , Proc(1) 可 以 立即 计算 出 G(L :mw,D = 4(1:n.D/V4(LD 并 发 送 至 Proc(2). 
Proc(2) 一 旦 接受 到 此 列 值 , 它 就 产生 G(2 : n,2) 并 发 送 至 Proc(3). 依次 类 推 , 按 
这 种 流水 线 设 计 , 一 个 处 理 器 一 旦 完成 其 G 列 的 计算 , 它 就 可 中 止 . 另外 每 个 处 理 
器 是 按 升序 G(1 : n,1), G(2 : n,2),… 来 接收 G 列 的 . 基于 这 些 结论 , 有 
j=l 
while j < p 
recv (gioc(j : n), left) 


6.3 42 RE 2- 8t 267 


ifu cn 
send (gio. (j : n), right) 
end 
Aioc(H : n) = Atoc(H : n) — gioc(u)g(n : n) 
j=j+1 
end 
Aioc(H : n) = Aioc(H : n)/ V/ Aioc(u) 
ifu<n 
send (4ioc(A : n), right) 
end 
注意 , 接收 的 G 列 的 数目 为 7 — 1 23 jo = à 时 , 则 由 Proc(u) 来 产生 并 发 送 
G(u : m p). 


现在 将 上 述 方案 扩充 至 ”个 处 理 器 的 情形 . 有 两 个 明显 的 方式 来 分 配 计算 . 一 
种 方法 是 让 每 个 处 理 器 计算 一 段 连续 存储 的 G 列 . 例如 , MR n=11p=3,A= 
[ea , asi], 则 可 将 4 分 配 如 下 : 

[ai 2 ag a4 | a5 ag O7 ag | Q9 010 Q11]. 
Proc(1) Prac(2} Proc(3) 

每 个 处 理 器 然后 可 去 计算 相应 的 G 列 . 此 方法 的 缺陷 是 , 以 Proc(1) ABI, 4G 的 
第 4 列 值 计算 出 后 , 该 处 理 器 就 空闲 , 而 此 时 却 仍 有 大 量 工作 未 完成 . 

如 用 轮流 分 配方 式 来 分 配 计算 , 则 可 获得 较 理想 的 负载 平衡 , 即 

al Q4 ar Q10 a2 a5 Ag Q11|a3 as ag]. 
Proc(1) Proc(2) Proc(3) 

在 这 种 方案 下 , Proc(u) 负责 计算 Gl, p: pin). 当 一 个 处 理 器 计算 完 它 的 G 列 后 ， 
其 他 处 理 器 最 多 只 有 一 个 G 列 未 被 计算 . 这 样 当 n/p > 1 时 , 所 有 处 理 器 几乎 总 
Bich. 

现在 仔细 分 析 一 下 轮流 分 配 的 分 布 式 Cholesky 算法 . 每 个 处 理 器 都 需要 两 个 
计数 器 . 计数 器 j 是 Proc(n) 下 一 个 要 接收 的 G 列 的 下 标号 . 同时 处 理 器 还 应 知 
道 下 一 个 要 计算 的 G 列 的 下 标号 . 注意 , 如 col — a: p : n, W Proc(u) 要 负责 计算 
出 G(:,col), 且 工 = length(col) 是 其 需要 计算 的 G 列 的 数目 . 用 q 来 记录 求 出 G 
列 的 状态 . 任何 时 刻 , col(g) 是 下 一 个 要 计算 的 G 列 的 下 标 . 

算法 6.3.1 假设 A c R” EDGE AERE, 且 A= GG" 是 其 Cholesky 
PR. do p 个 处 理 器 的 环 中 的 每 个 节点 执行 如 下 的 程序 ， 则 结束 时 ，Proc(H) 
将 满足 有 = pip: n 的 G(k : nk) 存储 在 本 地 数组 4ioc(1 : n, D) 中， 其 中 
L = length(col),col = p:p:n. 特别 地 , 满足 g — 1: L f G(col(q) : n, col(q)) 
存储 在 Ajoc(col(q) : nq) 中 . 假定 本 地 内 存 有 如 下 初始 值 : p, uC RAF), left 和 
right( 左 邻 和 右 邻 的 序号 ), n 和 4ioc = Alu: p:n). 
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j=1;q = l;col = p: p : n; L = length(col) 
whileq < L 
if j = col(q) 
{形成 G(j :n,j) 
Aioc(j : n, q) = Aloc( :1,9)/V Aloclj, 9) 
ifj<n 
send (Atoc(j : n, q), right) 
end 
g=gtl 
{更 新 本 地 的 列 向 量 .} 
for k=q+1:L 
r — col(k) 
Aioc(r : n, k) = Atoc(r : n, k) — Aloc(7, q) Aioc(r : n, 9) 
end 
q=qtl 
else 
recv (gioc(j : n), left) 
计算 o, 产生 所 接收 G 列 的 处 理 器 之 序号 . 
计算 B, Proc(right) 的 最 终 列 的 下 标 . 
if right¥ a ^3 « B 
send (gioc(j : n), right) 
end 
{更 新 本 地 的 列 向 量 .} 
fork=q:L 
r = col(k) 
Aioc(r : n, k) = Atoc(? : n, k) — gioc(r)goc(r : n) 
end 
j=j+1 
end 
end 
为 说 明 指示 系统 的 逻辑 关系 , 我 们 考虑 一 个 3 处 理 器 且 n = 10 的 例子 . 假定 3 个 
本 地 的 q 值 分 别 为 3, 2 和 2, 则 相应 的 col(q) (HA 7, 5 和 6: 


l l l 
Qj Q4 07 Q10 | G2 G5 Gg Q3 | a3 ag ag 
a 


Proc(1) Proc(2) Proc(3) 
Proc(2) 生成 第 5 个 G 列 并 将 q 值 增加 为 3. 
需要 解释 何 时 将 接受 到 的 G 列 发 送 到 其 右 邻 , 它 需 满足 两 个 条 件 : 
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e 右 邻 不 能 是 产生 此 G 列 的 处 理 器 . 这 样 保证 了 所 接收 的 G 列 的 循环 可 在 合 
适时 停止 . 
e 右 邻 必须 还 有 需要 计算 的 G A. 否则 G 列 就 会 被 送 给 一 个 已 停止 运行 的 处 
理 器 . 
这 些 推理 在 分 布 式 内 存 矩 阵 计算 中 是 很 典型 的 . 
现在 考查 当 n> p 时 算法 6.3.1 的 性 质 . 不 难看 出 Proc(u) 执行 的 flop 数 为 
L 


n3 
F(u) = 2(n— (w+ (k - Up)p + (k - 0p) ~ z-- 
k—1 


每 个 处 理 器 正好 要 对 每 个 G 列 做 接收 和 发 送 操作 . 利用 (6.3.1) 确定 的 通信 开销 模 
型 , 每 个 处 理 器 用 于 通信 的 开销 为 


My = 》 (aa + Ba(n — j)) = 2aan + Ban’. 
j=1 


如 果 假 设计 算 速率 为 每 秒 RA flop, 则 算法 6.3.1 的 计算 -通信 比 约 为 (n/p) (1/3RB4). 
因此 , 通信 开销 随 n/p 的 增 大 而 显得 越 来 越 无 关 紧 要 . 


6.3.2 AH Cholesky 分 解 


接 下 来 考虑 在 共享 内 存 环境 下 实现 外 积 形式 的 Cholesky 算法 . 外 积 形式 的 
Cholesky 算法 为 : 
for k=1:n 
A(k : n, k) = A(k:n, k)/A/ A(k, k) 
for j—k-rl:n 
A(j :n,j) = AG : mj) — AG : n, K AG. k) 
end 
end 
j 循环 是 一 个 外 积 运算 . 组 成 循环 主体 的 n — k 次 saxpy 运算 是 独立 的 , 因而 易于 
并 行 化 . 对 Alk : n, k) 的 数 乘 可 由 某 个 处 理 器 来 完成 且 不 会 破坏 负载 均衡 , 
算法 6.3.2 ”假设 4ERnxnm 是 对 称 正定 矩阵 , 存储 于 全 局 内 存 中 且 能 被 了 个 
处 理 器 访问 ， 如 果 每 个 处 理 器 执行 如 下 的 节点 程序 , 则 结束 时 A 的 下 三 角 部 分 被 
其 Cholesky A 3-48 iE. 假定 本 地 内 存 有 如 下 初始 值 : nup p (节点 序号 ). 
fork =1:n 
if£u-l 
Ulc(k : n) = A(k : m) 
Vloc(K : 2) = Vioc(k : n)/ A/tioc(k) 
A(k : n, k) = vioc(k : n) 
end 


barrier 
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Uloc(k +1:n) = ACK +1:n,k) 

for j= (j +p): pin 
Wioc(j : n) = AG : n, j) 
wioc( : N) = wioc(j : n) — Vioc(J)Mtoc(F : n) 
A(j : n, j} = Woclj : n) 

end 

barrier 

end 


j 循环 之 前 的 数 乘 运算 和 外 积 运算 相 比 工作 量 很 小 , 因此 可 分 配给 单个 处 理 器 来 完 
成 . 注意 到 算法 需要 两 条 barrier 语 句 . 第 一 句 保证 了 在 Proc(1) 产生 G 的 第 大 列 
之 后 别 的 处 理 器 才能 进行 第 次 外 积 运算 . 第 二 名 保证 第 k 步 的 所 有 工作 都 完成 
后 才能 开始 第 +1 步 的 运算 . 


习 题 


6.3.1 WHEY 6.3.1 写成 一 个 分 块 形式 . BE n = 7N, 对 于 k= 二 1:N, 有 (a)Proc(1) 
生成 G(:,1+(k—1)r: kr), (b) 让 所 有 的 处 理 器 参与 主子 矩阵 A(kr 十 1:n, kr 十 1:n) 的 秩 
r 更 新 , 参见 4.2.6 节 . 如 每 个 处 理 机 偏好 3 级 运算 , 则 分 块 可 以 改善 性 能 . 

6.3.2 ”改写 算法 6.3.2 为 共享 内 存 的 QR 分 解 算法 . Proc(1) 应 生成 Householder HE, 
所 有 处 理 器 都 应 能 共享 最 近 更 新 的 Householder AA. | 
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讨论 完 线性 方程 组 和 最 小 二 乘法 后 , 我 们 把 注意 力 转移 到 矩阵 计算 的 第 三 个 大 
问题 : 代数 特征 值 问题 . 本 章 讨论 非 对 称 和 矩阵 的 特征 值 问题 , 第 8 章 讨论 较 易 的 对 
称 和 矩阵 情形 . 

我 们 首先 介绍 特征 值 和 不 变 子 空间 的 基本 性 质 , 以 及 Schur 分 解 和 Jordan 分 
fig. 这 两 种 分 解 的 性 能 对 比 放 在 7.2 节 中 讨论 , 在 那里 , 我 们 要 考察 特征 值 和 不 变 
子 空间 是 如 何 受 扰动 影响 的 , 该 节 还 将 对 条 件数 加 以 研究 , 以 便 对 舍 入 过 程 中 产生 
的 误差 进行 估计 . 

本 章 的 主要 算法 就 是 著名 的 QR 算法 , 它 是 本 书 中 最 复杂 的 算法 , 我 们 用 了 三 
节 的 篇 幅 来 叙述 它 ， 作 为 简单 的 守法 的 自然 推广 , 我 们 在 7.3 节 中 导出 基本 的 QR 
TER. 随后 的 两 节 着 重 在 计算 上 实现 这 种 基本 迭代 ， 这 涉及 Hessenberg 分 解 (7.4 
节 ) 及 原点 位 移 的 概念 (7.5 节 ). 

QR 算法 计算 矩阵 的 实 Schur W, 这 是 一 种 显示 特征 值 而 非特 征 向 量 的 典范 型 . 
因而 , 如 果 想 了 解 不 变 子 空间 的 信息 , 还 需要 额外 的 计算 .“ 计 算 了 实 Schur 型 后 怎 
么 办 ?” 可 做 为 7.6 节 的 副标题 . 在 此 节 我 们 将 讨论 各 种 不 变 子 空间 的 计算 , 这 些 计 
算 可 接着 QR 算法 进行 . 

在 7.7 节 , 我 们 讨论 广义 特征 值 问题 Az = ABa 以 及 为 解决 此 问题 而 设计 的 
QR 算法 的 变形 , 称 之 为 QZ 算法 . 这 种 算法 强调 了 正 交 矩 阵 在 特征 问题 (本 章 的 
中 心 议题 ) 中 的 重要 性 . 

此 时 , 评价 一 下 复 运算 和 实 运算 是 适当 的 . 在 本 书 中 , 我 们 集中 精力 讨论 实 矩 
阵 问题 的 实 算法 , 本 章 也 不 例外 , 尽管 是 一 个 实 的 非 对 称 矩 阵 可 能 有 复 的 特征 值 . 然 
而 , 实用 的 实 QR 算法 的 推导 及 特征 问题 本 身 的 数学 分 析 , 在 复数 域 中 进行 是 很 方 
便 的 .因而 , 读者 会 发 现 我 们 在 7.1 节 ~7.3 节 中 已 换 用 复数 记号 了 . 在 这 儿 节 里 ， 
我 们 运用 QR 分 解 、 奇 异 值 分 解 及 CS 分 解 的 复数 形式 . 


预备 知识 
阅读 本 章 需 要 掌握 第 1~3 章 和 5.1 节 ~5.2 节 的 知识 . 本 章 各 节 间 的 关系 如 


F: 7.1 节 一 7.2 节 一 7.3 节 一 7.4 节 一 7.5 节 一 7.6 节 一 7.7 节 

补充 参考 书 有 : Fox(1964), Wilkinson(1965), Gourlay and Watson (1973), Stewart 
(1973), Hager(1988), Ciarlet(1989), Stewart and Sun(1990), Watkins(1991), Saad 
(1992), Jennings and Mc Keowen(1992), Datta(1995), Trefethen and Bau(1997), and 
Demmel(1996). 与 本 章 有 关 的 一 些 重 要 的 MATLAB 函数 有 : eig, poly, polyeig, 
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hess, qz, rsf2csf, cdf2rdf, schur 及 balance. 以 下 是 与 LAPACK 相关 的 例 


fi: 


LAPACK: 非 对 称 特征 值 问题 


平衡 变换 

取消 平衡 变换 

Hessenberg 约 化 UH AV = H 

U (分 解 型 ) RER ( 实 型 ) 

产生 UU( 实 型 ) 

U(4 RI) RUPE (AW) 

PUE U( 复 型 ) 

Hessenberg 矩阵 的 Schur 分 解 
HARER Hessenberg 矩阵 的 特征 向 量 
—RÉÓEBPER] Schur 分 解 , 特征 值 按 序 排列 
同上 , 但 给 出 条 件数 估计 

一 般 和 矩阵 的 特征 值 和 左右 特征 向 量 

同上 , 但 给 出 条 件数 估计 

上 拟 三 角形 矩阵 的 选 定 特征 向 量 

上 拟 三 角形 矩阵 的 选 定 特征 值 的 条 件数 估计 
Schur 分 解 的 丁 重 排列 

同上 , 但 给 出 条 件数 估计 

求解 AX+XB=C,AA B 为 上 拟 三 角形 矩阵 


LAPACK: 非 对 称 的 广义 特征 问题 


平衡 变换 

约 化 为 Hessenberg 三 角形 型 
广义 Schur 分 解 

特征 向 量 

取消 平衡 变换 


7.1 ”性 质 与 分 解 


本 节 我 们 给 出 必要 的 数学 基础 知识 , 以 便 导出 和 分 析 后 面 的 求 特征 值 的 算法 . 


7.1.1 ”特征 值 和 不 变 子 空间 


矩阵 A c C^*^ 的 特征 值 是 其 特征 多 项 式 p(z) =det(zI — A) H n MR. 这 些 
根 的 集合 称 为 谱 , WA ACA). 如 果 AA) = {A1,… An}, WA 


WA, 如 果 我 们 定义 A 的 迹 为 


det(A) = XA1X2 Mn. 


tr(A) = 5 Gii, 


i=1 
则 tr(A) = Ay 9 tAn 这 个 结论 可 以 通过 观察 特征 多 项 式 中 20 的 系数 得 出 . 


如 果 A € (A), 那么 满足 


Ax = àx 
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的 非 零 向 量 m c C" 称 为 特征 向 量 , 更 精确 地 说 , 满足 Ac = Ac 的 非 零 向 量 s 称 
为 关于 入 的 右 特征 向 量 , 满足 oA = AzU 的 非 零 向 量 称 为 关于 入 的 左 特 征 向 量 . 
除非 特别 声明 , “特征 向 量 ” 指 “ 右 特征 向 量 ”. 
一 个 特征 向 量 定义 了 一 个 一 维 子 空间 , 这 个 子 空 间 用 矩阵 4 左 乘 保持 不 变性 . 
更 一 般 地 , 一 个 子 空间 SCC", 车 有 性 质 
x E S => Ares, 
则 称 为 不 变 的 (关于 A). 注意 到 , 如 果 
AX = XB, Bcc, Xecn**, 
那么 ran(X) 是 不 变 的 , A By = Ay = A(Xy) = A(Xy).. HH, 如 果 X 是 列 
满 秩 的 , 那么 AX = XB 隐 含 有 XB)CA(A) WR X 是 方 阵 且 非 奇异 , 那么 
\(A) = A(B) 且 我 们 称 A 和 B= 久 ~1AX 相 似 . 在 此 意义 下 , ROX 为 一 个 相似 变 
A. 
734.2 fH 
许多 特征 值 的 计算 需要 把 一 个 给 定 的 问题 分 解 为 若干 小 的 特征 问题 来 逐一 解 
决 . 下面 结 论 是 这 些 约 化 的 基础 . 
引 理 7.1.1 wA T EC 的 划分 如 下 
T= | Ti Tie | p 
0 To 
D q 


那么 A(T) = A(T) U A(T22). 
证 明 设 


这 里 el € C? H za € Ct. WR za Z 0, WA T2222 = 和 zz, 因此 入 e A(T22). 如 
Ba. =0, 那么 Tia, = Ax, 这 样 € XAT). 由 此 可 知 AT) C 和 (Ti1)U A(T22). 
但 由 于 集合 A(T) 和 A(T11) U A(T22) 有 相同 的 基数 , 所 以 它们 是 相等 的 . 口 
7.13 BABU 

利用 相似 变换 , 可 以 将 一 个 给 定 矩 阵 约 化 为 几 种 典范 型 的 任 一 个 . 这 些 典 范 型 
因 显示 特征 值 的 方式 以 及 提供 的 不 变 子 空间 信息 形式 而 异 . 考虑 到 数值 稳定 性 , 我 
们 先 讨论 能 用 本 相似 变换 做 的 约 化 . 

引 理 7.1.2 wR A cC”, Be, E. X c C^*? 满足 

AX = XB, rank(X) =p, (7.1.1) 
IRA AL BER Q cC, 使 得 
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Ti Ti p 
n 


Q"AQ-T- | 0 (7.1.2) 


p n-—p 
这 里 Tu) = XA)nX(B). 
证 了 明 x 
Ri 
x-9| | Qec™™, Ry e cox? 


是 和 的 一 个 QR 分 解 . 将 之 代入 (7.1.1) 并 整理 得 
Iz vj 
T, T» 0 0 


Tu Tie | p 

T» 了 22 | n-p 

. p n—p 

利用 Ry SES RHO RAB TR) = 0 RIT, R; = RB, 我 们 可 以 推出 T21 = 0 

Al A(T) = A(B). 由 引 理 7.1.1, MA) = AT) = A(T11) UA(T22), 结论 得 证 ， 0 
例 7.1.1 wR 


这 里 
Qu AQ = | 


67.00 177.60 —63.20 
A= | —2040 95.88 —87.16 |, 
22.80 67.84 12.12 


X —(20,—59—12)7 E. B= [5], 那么 AX = XB. HH, do GE X ABE Q 定义 为 


—0.800 0.360 0.480 
Q= 0.360 0.928 —0.096 |, 
0.480 —0.096 0.872 


m2 Q'X = (-25,0,0)7 2 


25 —90 5 
Q'AQ-T-—| 0 147 —104 
0 146 3 


由 此 易 知 ACA) = (15, 75 + 100i, 75 — 1001). 
335 7.11.2 是 说 , 如 果 我 们 知道 某 个 矩阵 的 不 变 子 空间 , 则 可 应 用 西 相似 变换 
将 该 矩阵 约 化 为 分 块 三 角形 型 . 利用 归纳 法 可 容易 地 建立 Schur 分 解 定理 (1909). 
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定理 7.1.3(Schur 分 解 ) ”如果 A € C"*", MAAA-A BBE Q cC, 
使 得 
Quaq=T=D+N, (7.1.3) 


这 里 万 = diag(A1,… ,Mn), N € C" E E AG AEBR. 进一步 可 以 选取 @ 
使 得 特征 值 和 ; 港 对 角 线 按 任 一 给 定 的 次 序 出 现 . 

WERH ” 当 n= 1 时 , 定理 显然 成 立 . 假设 定理 对 于 所 有 的 阶 数 为 n 一 1 或 少 于 
n—1 的 矩阵 均 成 立 . 如 果 Aw = Aw, 这 里 z #0, 那么 由 引 理 7.12( 这 里 B = (d)) 
存在 一 个 酉 矩阵 U 使 得 


0 C 

1 n-1 

由 归纳 法 假设 存在 一 个 酉 矩阵 Ü 使 得 Ü CU BLE. 这 样 , 如 果 Q = 

U diag(1,U), 那么 QU AQ 是 上 三 角形 矩阵 . 口 
例 7.1.2 dX 


A= 3 8 ‘Q= 0.8944i 0.4472 
-2 3 一 0.4472 —0.8944i 


那么 AKEHE 


UPAU = A wH i 
n — 1. 


gag | 1^ -6 | 


0 3-4 
如 果 Q = [qi,… dn) 是 (7.1.3) 中 的 本 矩阵 Q 的 列 分 块 形式 , 则 a, 称 为 
Schur 向 量 . 令 等 式 AQ = QT 两 边 的 列 向 量 相等 , 我 们 知道 Schur 向 量 满足 
k—1 
Aq, = Ard, + 5 "kg; k=l:n. (7.1.4) 


i=1 


由 此 我 们 得 知 子 空间 
Sk =span{q,,--:,@,}, k=lin 

是 不 变 的 . 而 且 , 不 难 证 明 , 如 果 Qr = (i. a] 那么 MQEAQg) = Dic ,Xx}. 
由 于 (7.1.3) 中 的 特征 值 可 以 随意 排序 , 故 对 应 于 每 & 个 特征 值 所 组 成 的 子 集 都 至 
少 存在 一 个 k 维 不 变 子 空间 ， . 

从 (7.1.4) 还 可 得 出 另外 一 个 结论 , 即 Schur 向 量 qu, 是 一 个 特征 向 量 当 且 仅 当 
N 的 第 大 列 为 零 向 量 . 对 于 大 = 1:m 当 APA = AA” 时 , 这 种 情形 都 出 现 . 此 时 
称 A ATER. 

推论 7.1.4 ACC™" ZEMMESARSAA-TBEM Qc C" 使 得 

Q AQ = diag(Ai,: , An): 
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证 明 SAn, 如 果 4 西 相似 于 一 个 对 角 和 矩阵 , 那么 4 是 正规 矩阵 . 另 一 方面 ， 
如 果 A TERA QR AQ =T 是 它 的 Schur 分 解 , 那么 T 也 正规 . 而 一 个 正规 的 上 
三 角形 矩阵 T 必 为 对 角 和 矩阵 . 推论 证 毕 . 口 

注意 到 , 如 果 QUAQ = T = diag(;) + IN J&— BE n x n WEE A 的 Schur 分 
f£, 那么 Nile 与 Q 的 选择 无 关 : 


INI} = NAN — 9 Pal? = A?(A). 


i=l 


这 个 量 称 为 4 的 正规 偏离 度 . 这 样 , 要 使 TEAL, 就 必须 利用 非 酉 相似 变换 . 
7.1.4 非 丁 约 化 
为 了 说 明 什 么 是 非 相似 约 化 , 我 们 考虑 一 个 2 x 2 的 抉 三 角形 矩阵 的 分 块 对 角 
化 . 
引 理 7.1.5 BTCC" 的 划分 如 下 : 
r-| 7 re | p 
0 Ti2 | q 
p dq 
定义 线性 变换 0: CPXI 一 CPx9 为 
(X) = TuX - XT 2, 
这 里 X c C?*3. RA ó X 3ESE AES SERS ATu) n A(T22) = 9. 25 0 FPR 
Y 定义 为 


0 I, 
那么 Y- TY = diag(T11, T22). 
证 明 (XD XZz04590(X)-0H 


Mà. 0 T 
0 0 p-r 


T q-T 


E X AY SVD 分 解 , HH DS, =diga(o;), r = rank( X). 将 之 代入 方程 T11X = XT 2 


得 到 
x, 0| | =, 0 Bu Bx 
0 0| | 0 0 Bo Bo |’ 
其 中 UÉT4U = (Ay) 和 V TV = (Bij)， 通 过 分 块 比较 我 们 知道 An = 0, 


B1» =0 HR A(Aii) 一 A(B11). 故 
2 £z MAn) = MBiu)CMTi) n A(T 22). 


Y-|4 Z | $(Z) =—Tr, 


UEXV = 


411 An 
Az, 422 
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另 一 方面 , 如 果 A € ACT) n ACT22), 那么 我 们 有 非 零 向 量 > Aly , 使 得 Tur = Xz 
H yBTs, = Ay". 由 计算 知 (zyH) = 0. 最 后 , 如 果 o HERR, 那么 以 上 定义 的 矩 


Be Z 存在 且 
y-iry = I -Z Ti Tj IZ 
0 I 0 To 0 I 
_ Ty, Ty 2 -— Z2T24+Ti2 _ Ti O0 n 
例 7.1.3 € 
1 2 3 1.0 05 —0.5 
T-|0 3 8|HY=!00 10 00|, 
0 -2 3 0.0 00 10 
则 
1 00 
Y TY-|0 38 
0 -2 3 


通过 重复 应 用 引 理 7.1.5, 我 们 能 建立 以 下 更 一 般 的 绪论 . 
定理 7.1.6( 分 块 对 角 分 解 ) ”假设 


Ti Tig … Try 
0 T es Te 
QUAQ =T = ees (7.1.5) 
0 0 - Ty 


X A € Cn*? 的 一 个 Schur 2-8 EE Ti; 为 方 阵 . WRIA j ATu) NAT) = 
9, SR A E — MAESTHAERE Y € Cn 使 得 
(QY)-! A(QY) = diag(Tii. ,Tygg)- (7.1.6) 
证 明 ”利用 引 理 7.1.5 及 归纳 法 即 可 获 证 . 口 
车 每 个 对 角 块 Tau 对 应 不 同 的 特征 值 , 那么 我 们 有 以 下 推论 . 
推论 7.1.7 如 果 Ace", 那么 存在 一 非 奇异 矩阵 X 使 得 
X-!AX = diagNiT + Ni, ,NT+ Na), Ni € Cmm, (7.1.7) 
BA, Ag 互 不 相等 , 整数 nao ,Tg 满足 1 十:… 十 Ng 二 多 且 每 个 Ni 都 是 严 
A EIAGXARM. 
许多 重要 的 术语 与 分 解 式 (7.1.7) 有 关 ， 整 数 n; KAA 的 代数 重 数 ， 如 果 
n, = 1, 那么 称 Xi 为 单 特征 值 . Xi 的 几何 重 数 等 于 null(N;) 的 维 数 , 即 与 X 相对 
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应 的 线性 无 关 的 特征 向 量 之 个 数 . 如 果 A; 的 代数 重 数 大 于 它 的 几何 重 数 , 那么 称 
Xi 为 退化 的 特征 值 . 如 果 一 个 矩阵 有 退化 特征 值 , 则 称 它 为 退化 矩阵 ， 基于 下 面 的 
结论 , 非 退 化 矩阵 也 称 为 可 对 角 化 矩阵 . 

推论 7.1.8( 对 角 型 ) ACC ™” RLY AERA HEE X € 


Coxa 使 得 
XAX = diag(N,.… ,Mn). (7.1.8) 


证 明 ”A 非 退 化 当 且 仅 当 存在 线性 无 关 向 量 z1,… , xn E C 以 及 标量 use, 
A, 使 得 Az; = 和 iwi, i = 1 : n， 这 等 价 于 存在 一 个 非 奇异 矩阵 X = [x ,zn] 
c C^*^ 使 得 AX = XD, 其 中 D =diagQi,--- , An). 口 

注意 到 , 如 果 VH 是 X7 的 第 i 行 , 那么 yPA = PE ROX? A 
征 向 量 , X 的 列 为 右 特征 向 量 . 

例 7.1.4 如 果 


那么 X AX =diag(4,7). 
如 果 我 们 将 (7.1.7) 中 的 X 划分 如 下 ， 
X= [Xi X4] 
nı Ng 


W C^ —ran(X1) @ … Gren(X ,), 是 不 变 子 空间 的 直 和 . 如 果 这 些 子 空间 的 基 特 别 
选取 , 那么 有 可 能 在 X AX 的 上 三 角 部 分 产生 更 多 的 零 元 素 . 


定理 7.1.9(Jordan 分 解 ) 如 果 Ace, 那么 存在 一 个 非 奇 异 矩 阵 X € 
Cnxnm, 使 得 X. AX =diag(Ji,---, Jt), 这 里 


X 1 0 
0 X 
Ji-— t 
V] 
0 0 X 
X mi x m BRA mtoo +m =n. 
TERR ”参看 Halmos(1958, 从 112 页 起 .) a 


这 里 J; PRA Jordan 3&. 尽管 Jordan 块 沿 对 角 线 的 顺序 不 唯一 , 但 与 每 一 不 
同 特征 值 相对 应 的 Jordan 块 的 个 数 和 维 数 是 唯一 确定 的 . 


7.1.5 ”对 非 西 相似 变换 的 几 点 注释 


一 个 退化 矩阵 的 Jordan 块 结构 难以 从 数值 上 确定 . 可 对 角 化 的 n x n REBERS 
集合 在 C"x" 中 是 稠密 的 . 因而 , 一 个 退化 矩阵 的 微小 扰动 就 会 使 其 Jordan 型 面 
目 全 非 . 我 们 在 7.6.5 节 中 对 此 做 进一步 探讨 . 
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在 特征 值 问题 中 , 一 个 相关 困难 是 几乎 退化 的 矩阵 的 特征 向 量 和 矩阵 可 能 是 坏 条 
件 的 . 例如 , 任何 将 


a-|' 1 | 0ce«1 (7.1.9) 
0 1-e& 
对 角 化 的 矩阵 X 都 有 = 量 级 的 条 件数 (2 范 数 意义 下 ) 
这 些 观察 揭示 了 病态 相似 变换 所 导致 的 困难 . 由 于 

fX AX) =X AX +E, (7.1.10) 

其 中 
|E||a = wk2(X)||Alle- (7.1.11) 

BR, 不 用 西 相似 变换 计算 特征 值 , 会 产生 很 大 的 误差 . 


7.1.6 ”奇异 值 和 特征 值 
由 于 A 和 它 的 Schur 分 解 QUAQ = diag(Xi) + IN 有 相同 的 奇异 值 , 可 以 得 出 
Omin(A) < min |A| < max [| < max(A). 
从 已 知 的 关于 三 角形 矩阵 的 条 件数 知识 可 知 , 有 可 能 


max I «€ K2(A). 
这 提醒 我 们 , 对 于 非 正规 矩阵 , 当 分 析 Az = b 的 灵敏 性 时 , 特征 值 没有 奇异 值 那样 
的 “预示 性 ”. 非 正规 矩阵 的 特征 值 有 别 的 缺陷 . 参看 11.3.4 节 . 


习 题 


7.1.1 ”证 明 : 如 果 了 ec C^*^ 是 上 三 角形 矩阵 且 正规 , 则 工 是 对 角 和 矩阵 . 

7.1.2 证明: 如 果 X? 对 第 化 (7.1.9) 式 中 2x 2 AREE e < 5 那么 m(X)> L, 

7.1.3 ”假设 A € C^*^ 有 不 同 的 特征 值 , 试 证 明 , 如 果 QU AQ = REM Schur 分 解 
E AB = BA, 那么 Q8EBQ 是 上 三 角形 矩阵 ， 

7.1.4 ”证 明 : 如 果 A 和 BY 是 在 C” FH mèn, MA: \(AB)=\(BA) Ufo o}. 


7.1.5 #9 A € C^*^, 用 Schur 分 解 证 明 , 对 任意 © > 0, 存在 一 个 可 对 角 化 的 矩阵 
B, 使 得 中 4 一 Blo < e. 这 表明 可 对 角 化 矩阵 的 集合 在 C 中 是 稠密 的 , 并 且 Jordan 标准 
型 不 是 一 个 连续 的 矩阵 分 解 . 

7.1.6 ”假定 A, > A B. QPALQ, = Th Æ Ar 的 Schur 4f. 证 明 (Q,) ERAT 
列 {Qr} 满足 

jim Qu =Q, 

其 中 QUAQ =T 是 上 三 角形 矩阵 . 这 表明 矩阵 的 特征 值 是 它 的 元 素 的 连续 函数 . 

7.1.7 ”证 明 (7.1.10) 和 (7.1.11). 
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7.1.8 ” 斌 说明 怎样 计算 
M- | A C | k 
k j 
的 特征 值 , 这 里 A, B,C 和 DD 是 给 定 的 实 对 称 和 矩阵 . 
7.1.9 ”用 Jordan 标准 形 证 明 : AEM A 的 所 有 特征 值 均 严格 小 于 1, 则 Jim A* — 0. 
7130 AE: B 
a(t)=y(t), x(0)— 1, 
y(t) = —z(t y(0)=0 
有 解 z(t) = cos(t) 和 y(t) = sint). $ h > 0, 下面 是 计算 zk ~ z(kh) 和 yx c y(kh) 的 三 种 
迭代 法 , W ro = 1 My, —0: 
方法 1: Lepr = 14 hyk 
Yep = l — hzk 
方法 2: veo = 1+ hyk 
Yk+1 = 1— hoes 
方法 3: zk+1 = 1+ hyk+ 
Yk+ı 一 工 一 PZK+I 


用 格式 
= An 


Tk+1 Tk 
Yr+1 Yk 
来 表达 每 种 方法 , 这 里 Anr 是 2 x 2 RE. 对 每 一 种 情形 计算 AA) 并 用 之 讨论 一 oo 时 的 


limz, 和 limy,. 
7.1.11 # J € R?” 是 一 个 Jordan BR, kao (J) BBD? 


7.1.12 WH: d$ 
R= Ri Ri» p 
0 R22 q 


| PpP q 
EEEH A(R) n A(R22) = e, M Rie = 0. 


本 节 注 释 与 参考 文献 


Wilkinson(1965, 第 1 章 ) 和 Stewart(1973, 第 6 章 ) 精美 地 介绍 了 代数 特征 值 问 题 之 数 
学 性 质 , 对 需要 更 多 参阅 文献 的 读者 , 我 们 推荐 ， 


R. Bellman (1970). Introduction to Matriz Analysis, 21: ... McGraw-Hill, New York. 


I. C. Gohberg, P. Lancaster, and L. Rodman (1986). Invariant Subspaces of Matrices With 
Applications, John Wiley and Sons, New York. 
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284 第 7 章 非 对 称 特征 值 问题 


Schur 分 解 最 早 发 表 于 : 


I. Schur(1909). “On the Characteristic Roots of a Linear Substitution with an Application 
to the Theory of Integral Equations.” Math. Ann. 66, 488-510(German). 


与 我 们 的 证 明 十 分 类 似 的 一 个 证 明 可 见 如 下 专著 的 105 XL. 


H. W. Turnbull and A.C. Aitken(1961). An Introduction to the Theory of Canonical Forms, 
Dover, New York. 


有 关 奇 异 值 、 特 征 值 、 伪 特征 值 ( 见 11.3.4 节 ) 之 闻 的 关系 之 讨论 可 见 : 
K-C. Toh and L.N.Trefethen (1994). "Pseudozeros of Polynomials and Pseudospectra of 
Companion Matrices, ” Numer. Math. 68, 403-425. 


F. Kittaneh(1995). “Singular Values of Companion Matrices and Bounds on zeros of Poly- 
nomials,” SIAM J. Matriz Anal. Appl. 16, 333—340. 


7.2 扰动 理论 
计算 特征 值 也 就 是 计算 特征 多 项 式 的 零点 .Galois 理论 告诉 我 们 , WE n> 4, 


这 样 的 过 程 必须 是 迭代 的 , 这 样 , 有 限 终 止 必 带 来 误差 . 为 了 得 到 合理 的 途 代 终 目 
标准 , 我 们 需要 扰动 理论 来 告诉 我 们 怎样 考虑 近似 特征 值 和 不 变 子 空间 . 


7.2.1 ”特征 值 的 敏感 度 


几 个 求 特征 值 程序 产生 一 列 相 似 变换 OX, 使 得 X LC AX, 逐步 地 “更 对 角 化 ”. 
自然 会 问 , 矩阵 的 对 角 元 素 与 它 的 特征 值 之 间 的 相似 程度 怎样 ? 

定理 7.2.1(Gershgorin AAEH) wR X “AX = D+F, HP D= 
diag(d,,:--,dn) 且 下 的 对 角 元 素 为 零 ,那么 


n 


i=1 


Red =a eC: le-a oil} 
j=1 
证 明 ”假设 入 e ACA) 且 不 失 一般 性 , A di im 1:n. BF (D-AI+F A 
F, 由 引 理 2.3.3 得 ， 
1 ID - AD"! Flls = Y us 
j=l 


WHE k(1« k <n) 成 立 . 但 这 隐 含 Ae Dp. 口 
还 可 证 明 , 如 果 Gershgorin 圆 盘 D; 与 其 他 圆 盘 孤立 , 那么 D; 必定 恰好 包 全 
A 的 一 个 特征 值 . 参看 Wilkinson(1965, 从 71 页 起 ). 
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例 7.2.1 如 果 


10 2 3 
A=| -1 0 2], 
1 -2 1 


那么 ACA) e {10.226, 0.3870 + 2.2216i, 0.3870 一 2.22161) E. Gershgorin HÆÆ 
Dy = {|z| : |z — 10] < 5}, D2 = {l2} : |z] < 3, }, Ds = {lz|: lz ~ 11 < 3}. 
对 于 一 些 很 重要 的 求 特征 值 程序 ,能 够 证 明 算 出 的 特征 值 是 矩阵 A +E 的 精 
确 特征 值 , 这 里 E 的 范 数 很 小 . 所 以 , 我 们 必须 了 解 一 个 矩阵 的 特征 值 是 如 何 受 微 
小 扰动 所 影响 的 . 疹 明 这 个 问题 的 典型 结果 是 下 面 的 定理 . 
定理 7.2.2(Bauer-Fike) deX u Æ AE € C^*^ 的 一 个 特征 值 且 X AX = 
D = diag(,--: ,An), W 


< kp(X)||E 
min, IA — Hl < s QOILEll, 


其 中 || .||p ATE p 范 数 . 
证 明 ”我 们 只 需 考虑 ARE ACA) 中 的 情形 . WREE X7 (A E- uDX 
奇异 , RWA I +(D -puI (X71 EX) 也 奇异 . 于 是 从 引 理 2.3.3, 我 们 有 
1 «||(D — aI) (X^ EX)Il 
< ||(D — wD) ll» X Ill LETLo]E Xp 
由 于 (D -pD 是 对 角 矩 阵 , 而 对 角 矩 阵 的 p 范 数 是 最 大 对 角 元 素 的 绝对 值 , 故 


24 1 
ID — uI) |], = min. 区 二 可 由 此 , 可 知 定理 成 立 . 口 


通过 Schur 分 解 可 以 得 到 一 个 类 似 结果 . 
定理 7.2.3 it Q AQ — DN ZACC™ 的 一 个 Schur 分 解 ( 见 (7.1.3)). 
Je X u € A(A 4 E) 且 p 是 使 得 |N|? — 0 成 立 的 最 小 正 整数 , 则 


A-pl< 6, 01/P), 
min, | u| < max( ) 


其 中 E 
8 = ||Ella V ^ IUNTI- 
k=0 
证 明 ”定义 
ó — min a-a = l 
ACACA) Mr D]ie 
| 5-20 时 定理 显然 成 立 . 2:6 > 0, WA I - (MT - A)! E 奇异 且 由 引 理 2.3.3 我 
们 有 


1 «|n — A) Ello < |(W — A) liat Ella 


=||((#I — D) — N) llalLEll- (7.2.1) 
由 于 (ul — D)! 为 对 角 和 矩阵 且 |N) = 0, 不 难 证 明 ((uI — D)-1N)? = 0. 这 样 
(uI-D)-N)'- S (ur - D) ! N)*(uI - D), 
因此 , p-1 k 
Ku - D) - N) «53 (Ae). 
#5 > 1 那么 


p-i 
Mul — D) - Nl < 5 INI, 
k=0 
且 从 (7.2.1) 4, 6 & 0. 6 « 1, 则 


- — 
al — D) — N) < s; 3 UNIES. 
k=0 


ELM (7.2.1) 知 , 5? < 0. 所 以 , 5 < max(9,01/?). 口 
Pl 7.2.2 ”如果 
123 3 0 00 
A=|0 4 5 H E-| 0 00l, 
0 0 4.001 0.001 0 0 


那么 (A+ E) ~ {1.0001, 4.0582, 3.9427} 且 A MAHER ESM K(X) ~ 107. 
定理 7.2.2 中 的 Bauer-Fike 界 的 数量 级 为 104 而 定理 7.2.3 中 的 Schur 界 的 数量 级 
为 109. 

若 A 非 正规 , 定理 7.2.2 和 定理 7.2.3 都 表明 了 潜在 的 特征 值 灵敏 度 . 特别 是 
当 ka(X) 或 NIB! 很 大 时 , A 的 微小 变动 就 会 导致 特征 值 的 很 大 变化 . 

例 7.2.3 如 果 


a- [Oo] a pe ooo] 
0 0 10710 0 


那么 对 于 所 有 入 EA(A) Hue NA+E), |A— u| 21077. 在 本 例 中 , AERE A 量 级 
为 10-10 的 变化 导致 了 其 特征 值 量 级 为 1071 的 变化 . 
7.2.2 ” 单 特 征 值 的 条 件数 

如 果 和 矩阵 4 是 正规 的 , 那么 它 的 特征 值 是 不 会 极端 敏感 的 . 另 一 方面 , 非 正规 
性 并 不 一 定 隐 含 其 特征 值 很 灵敏 . 其 实 , 一 个 非 正 规矩 阵 可 能 既 有 良 态 的 特征 值 又 
有 病态 的 特征 值 . 基于 这 个 理由 , 有 必要 完善 我 们 的 扰动 理论 以 便 将 之 应 用 于 单个 
特征 值 而 不 是 整个 谱 . 
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为 此 , 假设 入 是 A e C"x" 的 单 特 征 值 且 x,y 满足 Ar = Ac, yF A = AyB, 
jellz = iylls — 1. WR YHBAX = J 是 Jordan 分 解 , Y = X^, WA y M x 是 
X(:,é) RI Y(, 0) 的 非 零售 数 (对 某 个 让 M =Y (EX (i) 可 知 yPo z 0, 该 事 
实 我 们 稍 后 要 用 到 . 

运用 函数 理论 的 经 典 结论 , 可 以 证 明 : 在 原点 附近 存在 一 个 可 微 的 z(e) 和 A(e)， 
使 得 

(A+eF)z(e) = Me)z(e), — WFlla — 1, 
其 中 和 (0) = A, z(0) = z. 对 e 微分 该 方程 且 令 e = 0, 我 们 得 到 
Ai(0) + Fx = À(0)z + A&(0), 
用 yF 乘 等 式 两 边 , NR yP o, 且 取 绝对 值得 


iX) = | 1 


ys | lyHel 
Ë F = ya", 即 知 上 界 可 以 达到 . 基于 此 , 我 们 称 s(A) = |yEz| 的 倒数 为 特征 值 和 的 
条 件数 . 

粗略 地 说 , 以 上 分 析 表 明 , 如 果 对 和 矩阵 4 FERA c 的 扰动 , 那么 其 特征 值 A 
之 扰动 可 能 达到 s/s(A)， 这样 , 如 果 sA) 小 , 就 有 理由 认为 和 是 病态 的 . 注意 到 
s(A) 是 与 相应 的 左右 特征 向 量 之 夹 角 的 余弦 , 且 只 要 和 是 单 特 征 值 则 s(A) 值 就 
唯一 . 

s) 小 意味 着 A 接近 一 个 有 重 特征 值 的 矩阵 . 特别 地 , 如 果 和 是 单 特征 值 且 
s(A) < 1, 那么 存在 一 个 召 使 得 入 是 A+ E 的 重 特征 且 


Elle , — (9 
llAlla ^ J/A—sQ*- 
该 结论 是 Wilkinson(1972) 证 明 的 . 
$j 7.2.4 如 果 
12 3 0 00 
A—-|04 5 和 E=| 0 0O 0], 
0 Q 4.001 0.001 0 Q 


那么 (A+ E) =~ (1.0001, 4.0582, 3.9427} E. s(1) ~ 0.8 x 10°, s(4) e 0.2 x 10 ?, H. 
8(4.001) © 0.2 x 10-3. 可 以 观察 到 ||Ello/s(A) 是 对 每 个 特征 值 所 受 之 扰动 的 很 好 
估计 . 


7.2.3 多量 特 征 值 的 敏感 度 
如 果 和 是 多 重 特征 值 , 那么 特征 值 的 敏感 度 问 题 更 复杂 . 例如 , 如 果 


a-l; :ar-|; Jl 
0 1 1 0 
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那么 NA+eF) = (15 Veo}. 注意 到 , Ha A 0, 那么 可 以 推出 A+eF 的 特征 值 在 
零 处 不 可 微 . 它们 在 原点 的 变化 率 是 无 穷 . 一 般 地 , 若 入 是 A 之 一 退化 特征 值 , 那 
么 A 的 O(c) 扰动 将 导致 的 Olr) 扰动 (AF 入 对 应 一 个 p x p Jordan I). FF 
细 讨 论 可 见 Wilkinson(1965, 从 77 页 起 ). 

7.2.4 ”不 变 子 空间 的 敏感 度 


敏感 的 特征 向 量 集合 可 以 组 成 一 个 非 敏感 的 不 变 子 空间 , 只 要 此 空间 相应 的 密 
集 的 特征 值 是 孤立 的 . 更 精确 地 说 , 假设 


H [Tn Tiz T 
Q AQ = | 0 Ta | nor (7.2.2) 
T n—Tr 
是 A 的 一 个 Schur 分 解 , 其 中 
Q=[Q Q] (7.2.3) 
r n—r 


由 我 们 对 特征 向 量 扰动 问题 的 讨论 ， 易 知 不 变 子 空间 ran(Qu) 的 敏感 度 依赖 于 
ATu) 和 AT) 之 间 的 距离 . 该 距离 的 适当 度量 正好 是 线性 变换 X TX 一 
XT oy 的 最 小 奇异 值 .( 这 个 变换 曾 在 引 理 7.1.5 中 出 现 过 .) 特别 地 , MR Be ORE 
阵 Ti 和 T2 之 间 的 分 离 度 为 : 


SE (7.2.4) 


sep(T11, T22) = min 
则 我 们 有 下 面 一 般 结论 ， 
定理 7.2.4 “假设 (7.2.2) 和 (7.2.3) 成 立 且 对 任意 矩阵 E c C7", 我 们 划分 
QUEQ 如 下 : 
En Ew T 
Hg = 
Q EQ | Ex, E22 | 


T n-r 


tn—Tr 


to X. sep(T1, T22) >0 E 


< sep(Tn, T22) 


lle (1+ 5||Fsalle )< : 


sep(T 11, T22) 
那么 存在 一 个 PeC"-")x" 并 且 

||E2:ll2 
| sep(T11, T22) 
使 得 Ô, = (Q,- Q,P)(I + PEP)? 的 各 列 组 成 ALE 不 变 子 空 间 的 标准 正 交 
基 . 


|| Pl <4 
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HEAR ”这 个 结论 是 Stewart(1973) 之 定理 4.11 的 稍微 变化 , 欲 知 证 明细 节 请 
参阅 原作 . 也 可 参看 Stewart and Sun(1990, 第 230 页 ). 矩阵 (I + PE P)-1/2 是 对 
称 正定 扼 阵 I+ PEP 之 平方 根 的 逆 算 阵 . 参看 4.2.10 节 . 口 

推论 7.2.5 如果 定理 7.2.4 中 假设 成 立 , 那么 

dist(ran(Q,), ran(Q,)) < NRI 
证 明 ”利用 PP 的 奇异 值 分 解 , 可 证 
||PQ + PP) lls < |Plls (7.2.5) 
因为 所 求 之 距离 就 是 QUQ, = PUO + PEP)-V2 的 范 数 , 推论 得 证 . 

这 样 , sep(T11, T2) 的 倒数 可 以 看 作 一 个 条 件数 , 用 来 度量 不 变 子 空间 ran(Q,) 

的 敏感 度 . 


例 7.2.5 iX 
3 10 0 —20 1 -1 
T = T = QT = 
H | | 22 | "I 12 » d 
T. T 
还 假定 A 二 工 二 11 12 


0 To | 
注意 到 AQ, = Q Tu, 这 里 Q = [e1,e2] € RU?. 由 计算 知 sep(T11,T22) © 
0.0003. # 


1 
E21 = 1079 | 1 
1 1 
且 我 们 检查 
A+E= Tu Tie 
En To 


的 Schur 分 解 , WAR Qi 受 扰 动 变 为 

` 一 0.9999 —0.0003 
0.0003 —0.9999 

一 0.0005 —0.0026 
0.0000 0.0003 


Qi = 


于 是 , 我 们 有 
dist(ran(Q,), (ranQ,)) = 0.0027 = 107° /sep(T 11, T22). 
7.2.5 ”特征 向 量 的 敏感 度 


”如 果 在 上 一 节 中 令 r= 1, 那么 就 是 分 析 特 征 向 量 的 敏感 度 问 题 . 
推论 7.2.6 ”假设 A,ECC""RQ-[g Q] Ee C™” AREH, 其 中 
q € C". & 
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H 1 H 1 
QUA v Hg T 
Q= h | n—1 Q Q= P m | n—1 
i n-i i n-i 
(这 样 ， qi 是 特征 向 量 .】 如 果 o = cmin(T22 — AT) >0 H 


5 
| E|]o (1+ le) <2, 
c 5 


那么 存在 满足 iplo < 411912 的 p e Cm, ea à = (n + Qop)/ Vit pp 是 
A+E 的 单位 2 范 数 特征 向 量 ， 而 且 有 


dist(span{n},span{}) < 4llll 
证 明 ”从 定理 7.2.4 和 推论 7.2.5, 并 注意 到 车 T, = 入 则 有 sep(T11,T22) = 
gmin(T22 — AL), 就 可 得 此 结论 . 口 
omin(Tz2 一 和 T) 只 是 粗略 地 估计 入 和 To 的 特征 值 之 闻 的 分 离 度 . 之 所 以 说 
“粗略 ”, 是 因为 


Ml 


sep(A, T22) = Omin(T22 — AI) <, mia le — Al 


€X(T22) 
而 此 上 界 是 一 个 粗略 的 估计 . 
特征 值 的 分 离 度 影响 特征 向 量 的 敏感 度 是 毫 不 奇怪 的 . 实际 上 , 若 和 为 非 退 化 
的 重 特征 值 , 那么 对 应 的 不 变 子 空间 就 有 无 穷 多 可 能 的 特征 向 量 基 . 以 上 分 析 仅 仅 
表明 这 种 不 确定 性 在 特征 值 集结 时 出 现 . 换 句 话说. 相近 的 特征 值 所 对 应 的 特征 向 
量 是 “不 稳定 的 ”. 
例 7.2.6 ”如果 
1.01 0.01 
0.00 0.99 
那么 特征 值 入 = 0.99 有 条 件数 1/s(0.99) ~ 1.118 且 相 应 的 特征 向 量 了 = [0.4472， 
— 0.8944|T. 另 一 方面 , A 的 “附近 的 ”矩阵 
1.01 0.01 | 


A+E= 
0.00 1.00 


的 特征 值 À — 1.00 有 特征 向 量 
& = (0.7071, —0.7071)7. 


习 题 


7.2.1 3 QUAQ = diag(u) + N Æ AEC"x" 的 一 个 Schur 分 解 且 定义 v(A) = 


11434 — AA™ |e. WE 
3 一 
fag «NIE < y Tute. 
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其 上 下 界 分 别 由 Henrici(1962) 和 Eberlein(1965) 给 出 . 24 n = 2 时 , 试 证 明 这 些 结果 . 
7.2.2 #AeEC"™" A X^! AX = diag( 和 1,… ,A«), 其 中 入; 互 不 相同 . 证 明 : AX 
的 列 向 量 是 2 苑 数 下 的 单位 向 量 , 则 (X) = n È 1/509). 
7.2.3 # QU AQ = diag( 和 i) 十 入 & A 的 Schur 24H. X^! AX = diag(à:). 证 明 
k2(X)? 2 1+ (IN ]IE | AlIg)?. JL Loizou(1969). 
7.2.4 X X !AX =diag(i) H Maj 2 -e 之 [àn W 
oi(A) 
m2(X) 
在 n = 2 情形 下 证 明 这 个 结果 . 见 Ruhe(1975). 


7.2.5 ea) a= | 5 | ge WW s(a) = s(b) = (1 + |e/(a — b)P) 1. 


0 
MEM 
0 To 
E AgA(T22). HERA: 27 o = sep(A, T22), 则 


1 o 
S(A) = 一 -一 一- 一 一 X 一 一 一 一 一 
(a) 1+ ||(Ta2 一 入 站 -Lo Ve? + |o 
7.2.7 “证 明 单 特征 值 的 条 件数 在 西 相似 变换 下 不 变 . 
7.2.8 ”在 Bauer-Fike 定理 (定理 7.2.2) 中 的 同样 假设 下 , 证 明 


: 入 一 < “lip . 
min i p| «ll IX ^ VEN] Hl» 


€ [Ai] € Ka(X)oi(A). 


7.2.6 ”假设 


7.2.9 WEH (7.2.5) 
7.2.10 iE: 如 果 Be Cmxm H C € C^*", 则 对 所 有 à € XB) Rip e XC) 有 
sep(B, C) < A — ul. 
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在 下 列 文献 中 : 

F. L. Bauer and C. T. Fike (1960), “Norms and Exclusion Theorems,” Numer, Math. 2, 
123-144. 

A. S. Householder(1964). The Theory of Matrices in Numerical Analysis. Blaisdell, New 
York. 
下 列 文章 分 析 了 扰动 对 广义 矩阵 的 特征 值 影响 

A. Ruhe(1970). “Perturbation Bounds for Means of Eigenvalues and Invariant Subspaces,” 
BIT 10, 343-354. 

A. Ruhe(1970). “Properties of a Matrix with a Very Ill-Conditioned Eigenproblem," Numer. 
Math. 15, 57—60. 


202 $$ 7 * 非 对 称 特征 值 问题 


J. H. Wilkinson(1972). “Note on Matrices with a Very Ill-Conditioned Eigenproblem," Nu- 
mer. Math. 19, 176-178. 


W. Kahan, B. N. Parlett, and E. Jiang(1982). “Residual Bounds on Approximate Eigen- 
systems of Nonnormal Matrices, " SLAM J. Numer. Anal. 19, 470—484. 


J. H. Wilkinson(1984). “On Neighboring Matrices with Quadratic Elementary Divisors,” 
Numer, Math. 44, 1-21. 


J. V. Burke and M. L. Overton(1992). “Stable Perturbations of Nonsymmetric Matrices,” 
Lin. Alg. and Its Application 171, 249-273. 


Wilkinson 关于 几乎 亏损 矩阵 的 工作 是 在 大 量 涌现 的 有 关 “ 几 乎 亏损 ”问题 的 文献 中 最 典 
型 的 . Wl: 
N. J. Higham(1985). “Nearness Problems in Numerical Linear Algebra, ” PhD Thesis, 
University of Manchester, England. 


C. Van Loan(1985). “How Near is a Stable Matrix to an Unstable Matrix?, ” Contem-porary 
Mathematics, Vol. 47, 465-477. 


J. W. Demmel(1987). “On the Distance to the Nearest Ill-Posed Problem, " Numer. Math. 
51, 251-289. 


J. W. Demmel(1987). “A Counterexample for two Conjectures About Stability,” IEEE 
Trans, Auto. Cont. AC-32, 340-342. 


A. Ruhe(1987). “Closest Normal Matrix Found!,” BIT 27, 585-598. 


R. Byers(1988). “A Bisection Method for Measuring the Distance of a Stable Matrix to the 
Unstable Matrices, ” SIAM J. Sci. and Stat. Comp. 9, 975 881. 

J. W. Demmel(1988). “The Probability that a Numerical Analysis Problem is Difficult,” 
Math. Comp. 50, 449—480. 

N. J. Higham (1989). “Matrix Nearness Problems and Applicatons, ” in Applications of 
Matriz Theory, M. J. C. Gover and S. Barnett(eds,) Oxford University Press, Oxford 
UK, 1-27 


特征 值 条 件 的 性 质 可 参见 : 


C. Van Loan(1987). “On Estimating the Condition of Eigenvalues and Eigenvectors," Lin. 
Alg. and Its Applic, 88/89, 715-732. 

C. D. Meyer and G. W. Stewart (1988). “Derivatives and Perturbations of Eigenvectors,” 
SIA M J. Num. Anal. 25, 679-691. 

G. W. Stewart and G. Zhang(1991). “Eigenvalues of Graded Matrices and the Condition 
Numbers of Multiple Eigenvalues, " Numer. Math. 58, 703-712. 


J. G. Sun(1992). *On Condition Numbers of a Nondefective Multiple Eigenvalue,” Numer. 
Math. 61, 265-276. 


7.3 X ik 4X, HK 293 


REEERE EAER SA TE T) CAE BI A2 [RT T OI TE POA RI 


P. Henrici(1962). *Bounds for Iterates, Inverses, spectial Variation and Fields of Values of 
Non-normal Matrices," Numer. Math. 4, 24-40. 


P. Eberlein(1965). “On Measures of Non-Normality for Matrices,” Amer. math. Soc. 
Monthly 72, 995-996. 


R. A. Smith(1967). “The Condition Numbers of the Matrix Eigenvalue Problem," Nu- 
mer.Math. 10, 232-240. 


G. Loizou(1969). *Nonnormality and Jordan Condition Numbers of Matrices," J. ACM 16, 
580-540. 


A. van der Sluis(1975). “Perturbations of Eigenvalues of Non-normal Matrices,” Comm. 
ACM 18, 30-36. 


P. Henrici(1962) 也 包含 一 个 与 定理 7.2.3 类 似 的 结论 . 下 列 文献 深刻 分 析 了 不 变 子 空间 扰动 : 
T. Kato(1966).Perturbation Theory for Linear Operators, Sprigner-Verllag, New York. 


C. Davis and W. M. Kahan(1970). “The Rotation of Eigenvectors by a Perturbation, III,” 
SIAM J. Num. Anal. 7, 1-46. 


G. W. Stewart(1971). “Error Bounds for Approximate Invariant Subspaces of Closed Linear 
Operators,” SIAM. J. Num. Anal. 8, 796-808. 


G. W. Stewart(1973). “Error and Perturbation Bounds for Subspaces Associated with Cer- 
tain Eigenvalue Problems," SIAM Review 15, 727—164. 


关于 函数 sep(.,.) 和 映射 X 一 AX + X AT 的 详细 分 析 在 下 述 文献 中 给 出 . 
J. Varah(1979). “On the separation of Two Matrices,” SIAM J. Num. Anal. 16, 216—222. 


R. Byers and S. G. Nash(1987). "On the Singular Vectors of the Lyapunov Operator," STAM 
J. Alg. and Disc. Methods 8, 59-66. 


Gershgorin 定理 能 可 用 于 推导 复杂 的 扰动 理论 . X, Wilkinson(1965, 第 2 X). 定理 本 庙 
能 用 不 同 的 方法 加 以 概括 和 推广 ; 见 : 


R. S. Varga(1970). "Minimal Gershgorin Sets for Partitioned Matrices, SIAM J. Num. 
Anal. 7, 493-507. 


R. J. Johnston(1971). “Gershgorin Theorems for Partitioned Matrices, " Lin. Alg. and Its 
Ipplic. 4, 205~220. 


7.3 WR (GE 


假设 给 定 4 < Cnxn ABERE Uy c C"x*， 假定 Householder 正 交 化 (算法 
5.2.1) 能 推广 到 复 矩 阵 (这 能 办 到 ). FBU ISN: 
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To = UL AU o 
for k—12,- 
Tj; = 二 UkRi (QR 分 解 ) (7.3.1) 
Tx = R&U, 
end 
由 于 Tr = R,U, = UR (Uk Re)U k = ULT, Un, 由 归纳 法 可 得 
T, = (U9U; -UF A(U U1 U). (7.3.2) 


这 样 , 每 个 T, 酉 相似 于 A. Te 几乎 总 是 收敛 到 上 三 角形 矩阵 , 这 正 是 显然 的 , 这 
正 是 本 节 的 中 心 议题 . 即 (7.3.2) 几乎 总 是 “收敛 " 于 A 的 Schur 分 解 . 

XR (7.3.1) 称 为 QR 选 代 , 它 构 成 计算 Schur 分 解 的 最 有 效 算法 的 支柱 . 为 了 
导出 方法 并 得 出 其 收敛 性 质 , 首先 给 出 本 身 也 重要 的 两 种 别 的 求 特征 值 的 迭代 法 : 
FRE A EES. 

7.3.1 AE 


假设 A c C" 可 对 角 化 且 X7 AX = diag( 和 1,… An), EP X = [zi,…， 
Trl, [il > [ol 2: 2 [Au]. 给 出 一 2 范 数 单位 向 量 gO e Cn, EAE PAE 


序列 q€9: 
for k—1,2,-- 
26k) = Aq(F-9) 
q(9 = z% /||2) || (7.3.3) 
AG = [g(9]B Ag 
end 


做 2 范 数 单位 化 并 没有 任何 特别 之 处 , 它 只 是 让 本 节 的 讨论 能 较 好 地 统一 . 
让 我 们 考察 窜 迭 代 法 的 收 化 性 质 . 如 果 
g® = 0471 十 Q272 + `+ + nTn 


H a; 40, 那么 可 以 推出 
n . As k 
Arg mantle EG) v) 
由 于 g® € span( A*q(9), 所 以 


dist(span{q ), span(z1)) = o( 


而 且 


k 

lA — A®| =O . 
如 果 | 入 | > [a > …> Anh 我 们 称 Xi 是 主 特征 值 . 这 样 , 如 果 Xi 是 主要 的 上 且 gq 
在 相应 的 主 特征 向 量 zl 方向 上 有 一 分 量 , BARE. 


^ 
和 
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没有 这 些 假 定 的 迭代 性 质 在 Wilkinson(1965, 570 1) 和 Parlett and Poole(1973) 
中 有 讨论 . 
例 7.3.1 如 果 
—261 209  —49 
A= | -530 422 -—98 


—800 631 一 144 


13.0606 
10.7191 
10.2073 
10.0633 
10.0198 
10.0063 
10.0020 
10.0007 
10.0002 


在 实际 中 , RERA PERE Aa / [D 因为 它 反 映 收敛 速度 . 不 用 担心 
q( 在 ri 方向 上 分 量 为 零 , RARA HN FREER a 在 
此 方向 上 有 分 量 . 而 且 , 常常 在 求 主 特征 值 和 主 特征 向 量 的 应 用 中 已 知道 zi 的 预 
先 估计 . 一 般 地 , 令 qo 即 为 此 估计 , 可 以 极 小 化 出 现 ai 很 小 的 危险 . 

注意 到 应 用 军法 所 需 唯 一 之 事 是 编制 计算 和 矩阵 与 向 量 相 对 Aq 的 子 程序 . 没 必 
要 用 一 个 n x n. 的 数组 来 存 A. 正 由 于 此 , 当 A 是 大 型 稀疏 和 矩阵 且 | 和 1| 和 [Ao] 相 
差 较 大 时 , 此 算法 是 很 有 效 的 . 

用 前 一 节 提出 的 扰动 理论 能 够 获得 [AM — 和 | 的 误差 估计 . 定义 向 量 rO = 
Aq) _ NE) g*) 并 注意 到 (A+ E40 — AM gk), 这 里 EO = —rlh) [g(?]B. 这 
FF AU 是 A+ E” 的 特征 值 且 


OoOON Doe WN HO 


EP le — rejl 

s(A1) s(1) ~ 
如 果 我 们 用 和 窜 法 去 产生 近似 的 左 、 右 主 特征 向 量 , 那么 有 可 能 获得 SQ). 的 一 个 估 
i. 特别 地 , 如 果 w™ 是 在 (AB) Fu. 方向 上 的 2 范 数 单位 向 量 , 那么 我 们 作 近 似 
s(A1) ~ hw Hg, 
7.3.2 IESE 

宪法 的 一 个 直接 推广 可 用 来 计算 高 维 的 不 变 子 空间 . > 7 是 一 选 定 整数 , 满足 

1 < r < n， 给 定 具有 正 交 列 的 nx r 矩阵 Qo 正 交 迭代 法 产生 如 下 的 一 列 算 阵 
{Qx} € crs 


PD — Ail Ri 
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for k=1,2,--- 
Zk = AQk~i 
Q.R,— Z, (QR 分 解 ) (7.3.4) 


end 
注意 到 , 如 果 r = 1, 这 就 是 军法 . 而 且 , 序列 (Quei) EEREN q(? = Qoei 
时 所 产生 的 向 量 序列 . 
为 了 分 析 和 迭代 的 表现 , 设 
Q™AQ =T = diag() +N, > Da > .> [An (7.3.5) 
是 ACC” AY Schur 分 解 . BE 1 <r «n RH Q,T AN 划分 如 下 : 


a=[ a. Q; | r| 7 me | M 


0 T 22 -r 
T nr r n—r 
N N 
N=|1 ?7 2| 7. (7.3.6) 
0 No n-—r 
T n-—rTr 


车 Ad > Amih 那么 子 空间 D,(A) = ran(Qu) 称 为 主 不 变 子 空间 . 它 是 与 特征 值 
scs 所 对 应 的 唯一 不 变 子 空间 ， 下 面 的 定理 表明 , 在 合理 假设 下 , 由 (7.3.4) 
产生 的 子 空间 ran(Q,) WS [Angi /A,(* 成 正比 例 的 速度 收敛 到 D(A). 

定理 7.3.1 it A € C?*^ 的 Schur 分 解 由 (7.3.5) 和 (7.3.6) BR, n> 2. 假 
R JA > [Ac] O20 满足 

(1+ 4)[Ar| > [NILe. 
如 果 Qo e Cnxr 的 列 正 交 且 
d = dist(D, (AE), ran(Qy)) < 1, 

那么 由 (7.3.4) 产生 的 矩阵 Q, 满足 


(14-8)^-? Tele 
dist(D,(A), ran(Q,)) < JE (: * dir) 


l 人 十 IT any 
Ad- Nia 7 ' 


证 明 ”此 证 明 放 在 本 节 末 的 附录 中 . 
定理 7.3.1 中 的 条 件 a < 1 确保 初始 矩阵 Q 在 某 一 特征 方向 上 是 非 退 化 的 : 
d «1o D,(AB)* nran(Q,) = {0}. 
定理 本 质 上 表明 , 如 果 这 个 条 件 满足 且 9 取 的 足够 大 , 则 


k 
Ar+1 


Ar 


dist(D,(A),ran(Q;)) & c 
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这 里 c 依赖 sep(T11,T22) UR A 与 正规 性 的 偏离 . 不 用 说 , 如 果 A 和 Arl 之 
间 相 差 不 够 大 , 收敛 则 会 很 慢 . 

例 7.3.2 ”如 果 把 (7.3.4) 用 于 例 7.3.1 PER A, 这 里 Q = [eu ej, RN 
发 现 : 


dist(D2(A), ran(Q,)) 
0.0052 
0.0047 
0.0039 
0.0030 
0.0023 
0.0017 
0.0013 


Noob ON rjv 


误差 以 03/22)" = (3/4)* 趋向 于 零 
FA Stewart (1976) 的 技巧 可 加 速 正 交 迁 代 的 收敛 速度 . 在 加 速 方案 中 , 近似 特 
征 值 M* 满足 
k 
rs” 一 Ai| & 1 


, i=l:r. 


Art 
À 


( 没 加 速 时 右 端 是 [Ass / AL). Stewart 的 算法 常常 涉及 计算 矩阵 Qi AQ, 的 Schur 
分 解 . 在 A 是 大 型 稀疏 和 矩阵 且 只 需求 它 的 几 个 最 大 特征 值 的 情形 下 , 该 方法 是 非 
常 有 用 的 . 
7.5.8 QR 迭代 法 

我 们 现在 来 “导出 ”(7.3.1) 中 QR 和 迭代 并 考察 它 的 收敛 性 . 假设 (7.3.4) 中 7+ =n 
E A 的 特征 值 满足 

[Ar] > [Ag] > > [Anl- 
将 (7.3.5) 中 的 Q 和 (7.3.4) 中 的 Q, 划分 如 下 :; 
Q-—Ía- Qn]; Qn = gP, ,q(9]. 
如 果 
dist(D; (AE), span{q{”, ee gO }) «1, i=1:n, (7.3.7) 
则 从 定理 7.3.1 可 推出 , 对 ?= 1: n A 
dist(span{qs”, UM qP}, span(q;; aq) 0. 


这 说 明 由 Th = QE AQ, 定义 的 矩阵 Th 收敛 到 上 三 角形 矩阵 . 于 是 , 可 以 说 , 只 要 
初始 迭代 Qo e Cnxn 不 是 退化 矩阵 (满足 (7.3.7)), 正 交 迭代 法 就 能 算出 Schur 分 
解 . 

考虑 怎样 由 前 一 个 Tri 直接 算出 矩阵 Tu, 自然 就 产生 了 QR BR. 一 方面 ， 
从 (7.3.4) 和 Pyar 的 定义 中 我 们 有 
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Tri = QE ,AQL 1 = QE (AQz_1) = (QF QU). 
另 一 方面 ， 
T, = QE AQ; = (QLAQ, (QI QU) = Rhr(GQE 1QH) 


这 样 , 先 计算 T... 的 QR 分解 , 然后 将 两 个 因子 按 北 序 乘 起 来 就 决定 了 Tr. 这 也 
正 是 (7.3.1) 中 所 做 的 . 
例 7.3.3 do XikAN: 


for k=1,2,--- 
A=QR 
A= RQ 
end 


应 用 到 例 7.3.1 vp 8948 I, 那么 严格 下 三 角 元 素 按 如 下 消去 : 


k O(|a21|) Olasi| O(|aa2]) 
1 107! | 1071 107? 
2 10-? 107? 10-3 
3 1072 10-3 1073 
4 10-3 10-73 10-3 
5 10-3 1074 1073 
6 1071 1075 1073 
7 1074 1075 10-3 
8 10-5 10-9 10-4 
9 10-5 1077 10-4 
10 10-9 1078 1074 


注意 到 一 步 QR XE TERES O(n3). 而 且 , 既然 收敛 只 是 线性 的 (FEFE), 
显然 , 用 该 方法 计算 Schur 分 解 的 代价 是 相当 昂贵 的 . 幸运 的 是 , 这 些 实际 困难 能 
够 克服 , 见 7.4 节 和 7.5 节 . 
7.3.4 LR 迭代 法 


本 节 我 们 简 述 基于 LU 分 解 而 不 是 QR SHARE. 令 Go e Cnxr 之 秩 
A r. 对 应 (7.3.4) 我 们 有 如 下 和 迭代 : 


for k=1,2,-:: 
Zr = AGr (7.3.8) 
Zk =GkRkr (LU 分 解 ) 
end 
Br=n BRS MST. 为 
Tk = GE AG; (7.3.9) 


可 证 明 , 如 果 令 Lo = Go, WT, 可 由 如 下 方式 产生 : 
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To = Lg! ALo 
for k =1,2,--- 
Th-1= LR, (LU 分 解 ) (7.3.10) 
Ty = ReLy 
end 
AK (7.3.8) 和 (7.3.10) 分 别称 为 梯子 迭代 和 LAR. 在 合理 假设 下 , Th KAF 
上 三 角形 矩阵 ， 要 成 功 地 实现 这 两 种 方法 ， 必 须 结合 选 主 元 技巧 ， 参 看 Wikin- 
son(1965, 602 页 ). 
附录 
为 了 建立 定理 7.3.1, 我 们 需 用 到 以 下 引 理 , 它 关 于 矩阵 及 其 逆 的 罕 之 界 . 
引 理 7.3.2 4 Q2AQ=T=D+N #AECC™" 的 Schur 分 解 , HP D 
EN AE, NAP RELA ABER. AA fu TAMRE A 的 绝对 值 最 大 和 最 小 
的 特征 值 . de X 9 之 0, 则 对 于 所 有 k 之 0 我 们 有 


IA] < (1 - )"7! (a + We)" . (7.3.11) 


如 果 A 3E4R 0203 (+ou > IN MHA k 20 我 们 也 有 
1 k 
| 网 一 J ) 
证 明 对 6>0, SON AE A 为 
A = diag(1, (1 +0), (1+8)?,-- ,(1-- 0-3) 
并 注意 到 sa(4) = (1--0)^71. 由 于 是 严格 上 三 角形 矩阵 , ABE JAN A! lle < 
(Nile /(1 +4). 所 以 ， 


Alle < ( 4-6)! ( (7.3.12) 


A*i =|T"|l2 = lA (D+ ANA) All 
«na ( AJ(IDII + IAN A7 2) 


«a +0)" (a + Wile" 


另 一 方面 , WE A 非 奇异 且 (14+ 0)\u) > HN ile, WA ADN A! |]; <1 805138 
2.3.8 我 们 有 


AFI =T] = | A (E + AD"' NA)! D^'l* Allo 
ID" lla i 
KK2( A) (ap en; ) 


n—1 1 k 
<O +9) CEED B 


定理 7.3.1 的 证 明 
用 归纳 法 容易 推 知 AQ, = Q,(Re-- Ri). 将 (7.3.5) 和 (7.3.6) 代入 此 等 式 有 


r| Vo | -| Vx | me 


其 中 v, = QEQ,, We = QÉQ,. 利用 引 理 7.1.5 得 , 存在 矩阵 X e C070 使 得 
r X | [Ta Te] [|r X | [Tu 0 
0 In- 0 Tr 0 Inr] | 0 Taz |’ 


T% 0 Vo- XWo |_| Vr - XW, 
0 T$ Wo Wk 


以 下 我 们 证 明 矩 阵 Vo — XWo 非 奇异 , 这 使 我 们 能 获得 以 下 表达 式 : 


| eo 


Wk 


Wi = Th Wo(Vo - XWo) Ti? I, —X] | Vk | , 
HIZ 2.6.3 节 中 子 空间 之 间距 离 的 定义 : 
dist(D,.(A), ran(Q4)) = (QE Ql = [| Wella: 
由 于 Xll «1-]Xliz 我 们 有 
dist(D,(A),ran(Q,)) < I/T5,llall(Vo — X Wo) tlll TEO + IlXllr). (7-3-13) 


为 证 明定 理 , 我 们 必须 对 上 界 中 的 4 项 都 要 估计 . 
由 于 sep(Ti1,To2) 是 线性 变换 H(X) = Tu X 一 XT 2 的 最 小 奇异 值 , 容易 从 
o(X) = -T12 推 得 


aallF 
Xl < Sep (Tn, Ta) (7.3.14) 
应 用 引 理 7.3.2, 可 证 
k 
Till < (1 +a)" (etl + NIS) ; (7.3.15) 
k 
Title < (1+ oy? / (ia 一 Ini) . (7.3.16) 


最 后 , 我 们 将 考虑 ||(Vo — XWo). 注意 到 


H 
Vo — XWo -QHQ, — XQEQo = Hr, —X] | M la. 
B 
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= |a. 2 xs | Qo 


=(I, + XX*)/2(Z4Q,), 
其 中 
Z=(Q. Qe] | Cv | (I, + X XH) 1 
-(Q, - QXP), + X XP) 2. 
这 个 矩阵 的 列 是 正 交 的 . 它们 也 是 D, (AF) 的 基 , 因为 
A" (Qa — QX”) = (Qa - Q XTR. 


此 关系 式 可 从 等 式 AHQ = QT" 推出 . 
从 定理 2.6.1 知 


d = dist(D. (AP), ran(Qo)) = y1- o«(Z^ Q9)? 


且 由 假设 d «1, 

or( QHEQu) > 0. 
这 表明 

(Vo — XWo) = (Ir + X XP)? (zB Qj) 
非 奇 异 , 于 是 ， 
(Vo — XWo)-!lla «lI» + XXR) 

<1/V1 — d? (7.3.17) 

将 (7.3.14) ~(7.3.17) 代入 到 (7.3.13) 即 得 到 定理 . D 
3] 题 


7.3.1 (a) 证 明 : # X < C^*^ 非 奇异 , 则 ||4||x = ||X TAX] 定义 了 一 个 矩阵 
范 数 , 具有 性 质 ||ABl|x < IAllxIBilx. (b) $ A e C"*^ 且 设 p = maxj 和 i|， 证明 : 对 
任何 e > 0, 存在 非 奇异 矩阵 X c C"*" 使 得 ||Allx = | XAXI < ote. 由 此 得 出 
结论 : 存在 一 个 常数 M, 使 得 ||A*|lo < M(p + e)" 对 所 有 非 负 整数 均 成 立 ，( 提 示 : 设 
X = Qdiag(1,a, --- ,a^ 7), EP QPAQ — D 4 N 是 A ff] Schur 分 解 ,) 

7.3.2 ESA: 由 (7.3.10) 式 计算 得 到 的 矩阵 即 为 由 (7.3.9) 所 定义 的 Tr- 

7.3.3” 设 Ac” 非 奇 异 且 Qo EC? 列 正 交 . FIERA WE KRR: 

for k-12,- 
从 AZ, = Qu EI Zy e C"? 
Zr =QeRe (QR 分 解 ) 


end 
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试 解释 为 什么 此 和 迭代 通常 用 来 计算 A 的 p 个 绝对 值 最 小 的 特征 值 . 注意 到 实现 此 和 迭代， 
有 必要 解 以 A 为 系数 的 线性 方程 组 . 当 p = 1 时 , HERA RS. 
7.3.4 BAER ™” 有 特征 值 和 1,… An 满足 


| à = ài = dA2 = A3 = Aa > [Asl S++: BS |Anl, 
其 中 A HIER. 设 4 有 两 个 形 如 
入 1 
0 A 


的 Jordan fk. itil SARA REI, 等 法 的 收敛 性 . 讨论 如 何 对 此 收敛 进行 加 速 . 


本 节 注 释 与 参考 文献 


关于 和 军法 实用 的 详细 讨论 在 Wilkinson(1965, 第 10 3€) 中 给 出 . 方法 讨论 了 怎样 加 速 基 
本 和 迭代 , 计算 非 主 特征 值 以 及 处 理 复 共 轿 特征 值 . 下 面 文章 讨论 了 不 同 智 迭 代 法 之 间 的 联系 : 
B. N. Parlett and W. G. Poole(1973). “A. Geometric Theory for the QR, LU, and Power 
Iterations,” SIAM J. Num. Anal, 10, 389—412. 
QR 迭代 在 下 面 两 文章 中 同时 提出 来 的 ， 
J. G. F. Francis(1961). “The QR Transformation: A Unitary Analogue to the LR Trans- 
formation," Com. J. 4, 265-271, 332-334. 
V. N. Kublanovskaya(1961). “On Some Algorithms for the Soultion of the Complete Eigen- 
value Problem,” USSR Comp. Math. Phys. 3, 637-657. 
由 第 一 篇 的 标题 可 知 , LR RRE QR 迭代 更 早 发 明 . 前 者 的 基本 算法 由 下 文 提出 : 
H. Rutishauser(1958). “Solution of Eigenvalue Problems with the LR Transformation,” Nat. 
Bur. Stand. App. Math. Ser. 49, 47-81. 
B. N. Parlett(1995). “The New qd Algorithms,” ACTA Numerica 5, 459-491 
出 现 了 很 多 关于 QR 近代 法 的 收敛 性 的 文章 . 其 中 几 篇 是 : 
J. H. Wilkinson(1965). “Convergence of the LR, QR, and Related Algorithms,” Comp. J. 
8, 711-84. 
B. N. Parlett(1965). “Convergence of the QR Algorithm," Numer. Math. 7, 187-193. 
(Correction in Numer. Math. 10, 163-164.) 
B. N. Parlett(1966). "Singular and Invariant Matrices Under the QR Algorithm," Math. 
Comp. 20, 611-615. 
B. N. Parlett(1968). “Global Convergence of the Basic QR Algorithm on Hessenberg Matri- 
ces,” Math. Comp. 22, 803-817. 
Wilkinson(AEP, 第 9 3€) 也 讨论 了 这 一 重要 算法 的 收敛 性 理论 ， KRATER QR 算法 的 
收敛 性 及 它 与 别 的 重要 算法 的 联系 , 可 以 读 以 下 文章 : 


D. S. Watkins(1982). “Understanding the QR Algorithm,” SIAM Review 24, 427-440. 
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T. Nanda(1985). “Differential Equations and the QR Algorithm,” SIAM J. Numer, Anal. 
22, 310-321. 


D. S. Watkins(1993). “Some Perspectives on the Eigenvalue Problem,” SIAM Review 35, 
430-471. 


下 面 文章 有 关 同 步 迭 代 的 一 些 实际 和 理论 性 质 : 


H. Rutishauser(1970). “Simultaneous Iteration Method for Symmetric Matrices,” Numer. 
Math. 16, 205-223. See also(Wilkinson and Reinsch) 1971, pp. 284-302. 


M. Clint and A. Jennings(1971). “A Simultaneous Iteration Method for the Unsymmetric 
Eigenvalue Problem,” J. Inst. Math. Applic. 8, 111-121. 


A. Jennings and D. R. L. Orr(1971). “Application of the Simultaneous Iteration Method to 
Undamped Vibration Problems,” Inst. J. Numer. Math. Eng. 3, 13-24. 


A. Jennings and W. J. Stewart(1975). “Simultaneous Iteration for the Partial Eigensolution 
of Real Matrices,” J. Inst. Math. Applic. 15, 351-362. 


G. W. Stewart(1975). “Methods of Simultaneous Iteration for Calculation Éigenvectors of 
Matrices," in Topics in Numerical Analysis II, ed. John J. H. Miller, Academic Press, 
New York, pp. 185-196. 


G. W. Stewart(1976). "Simultaneous Iteration for Computing Invariant Subspaces of Non- 
Hermitian Matrices," Mumer. Math. 25, 123-136. 


也 可 参阅 以 下 专著 的 第 10 B: 


A. Jennings(1977). M atriz Computation for Engineers and Scientists, John Wiley and Sons, 
New York. 


同步 迭代 和 Lanczos 算法 (参阅 第 9 3€) ERRARE LEA X: 1. 


7.4 Hessenberg 分 解 和 实 Schur 型 


在 本 节 和 下 一 节 , 我 们 阐述 怎样 使 QR 迭代 (7.3.1) 成 为 计算 Schur 分 解 的 快 
速 、 有效 方法 . 因为 大 部 分 特征 值 和 不 变 子 空间 问题 只 涉及 实数 据 , 所 以 我 们 重点 
推导 (7.3.1) 的 实 形式 : 
Ho = Ud AUo 
for k=1,2, 
Hy 1 —U,R& (QR 分 解 ) (7.4.1) 
Ay = RxUE 
end 
其 中 Ac R"x", 4 U, e 了 "xn 是 正 交 矩阵 , 每 个 R, c RV" 是 上 三 角形 
矩阵 . 与 实 迭 代 相 关 的 困难 是 He 不 会 收敛 到 严格 的 .“ 特 征 值 暴露 ”的 三 角形 矩 
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EE, 因为 4 有 复 特征 值 . 由 于 这 个 原因 , 我 们 必须 降低 期 望 值 , 而 满足 于 计算 称 为 
实 Schur 分 解 的 另 一 种 分 解 . 

为 了 有 效 计算 实 Schur 分 解 , 我 们 必须 襄 导 选取 (7.4.1) 中 的 初始 正 交 相似 变 
HAERE Uo. 特别 地 , 如 果 我 们 选择 Uo 使 得 Ho 是 上 Hessenberg HEM, 那么 每 次 
迭代 工作 量 将 会 从 Oln?) 减 为 O(n?). 最 初 约 化 Hessenberg 型 (计算 Uo) 本 身 是 
很 重要 的 计算 , 它 可 通过 一 系列 Householder 矩阵 运算 来 实现 . 

7.4.1 3 Schur 分 解 


对 角 块 均 为 1x1 R 2x2 MORES ABER JA b= f8 E AERE. SE Schur 
分 解 相 当 于 将 气 阵 实 约 化 为 一 个 拟 上 三 角 型 . 

定理 7.4.1( 实 Schur 分 解 ) | X ACR ™", 则 存在 一 个 正 交 矩阵 QER” 
使 得 


Ri Riz sc Rim 
e R 
qQ'Ag-| 9 Me | (7.4.2) 
0 0 ... Ra 


其 中 每 个 Ri 不 是 1x1 ELRES ACA AE FR S 2x2 AERE. 

和 证明 A ROS RMEA EDSON HR, 因为 特征 多 项 式 det(zI — A) 的 系数 
都 是 实数 . 令 是 (4) PRP MA. 我 们 对 & 采用 归纳 法 证 明定 理 . 首先 注 
意 到 引 理 7.1.2 和 定理 7.1.3 有 实 的 类 似 结论 . 这 样 , 25 k= 0 时 , 定理 成 立 . 现在 假 
Wk 如 果 入 = 于 记 EAM4) Hy 40, MAF R^ 中 存在 向 量 M z (z £0) 
使 得 A(y +iz) = (y + iu)(y + iz), 即 

Aly z| — [y al 7 ^, 
-u 7 
假设 u £0 表明 y 与 z 张 成 4 的 一 个 二 维 实 不 变 子 空间 从 引 理 7.1.2 可 推 得 ， 
FEER U e R^, 使 得 


U* AU = | Ti Ti; | 2 
0 T5 n—2 
2 n-2 
其 中 ATu) = (A, \}- 由 归纳 法 , 存在 一 个 正 交 矩阵 U 使 得 Ü T4U 有 所 需 之 结 
构 . $ Q = Udiag(I2,U) 即 知 定理 成 立 . 口 


定理 表明 任 一 实 矩阵 可 以 正 交 相似 于 一 个 拟 上 三 角形 矩阵 . 很 明显 , 复 特征 值 
的 实 部 和 虚 部 容易 由 2 x 2 的 对 角 块 获得 . 
7.4.2 Hessenberg QR zb 


现在 , 我们 把 注意 力 转移 到 怎样 加 速 计算 (7.4.1) 中 单个 QR 步 . 关于 此 , (7.4.1) 
的 最 大 缺点 是 每 步 都 需 进行 花费 On) 个 flop 的 完全 QR 分 解 ， 幸 运 的 是 , 者 
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BB HRXENXIEARARPE Uo, 每 次 迭代 的 工作 量 可 降低 一 个 数量 级 ， 特别 地 ， 如 果 
ULAU, = Ho = (hij) 是 上 Hessenberg HEME (hi; = 0,i > j +1), 那么 以 后 计 
fS H, Ri O(n?) 个 Hop， 为 说 明 这 点 , 当 H 是 上 Hessenberg HMM, 我 
们 来 看 看 计算 H = QR 和 A, = RQ. W 52.4 节 所 述 , 我 们 通过 n 一 1 个 
Givens 旋转 变换 ; QTH = GI,- GTH = RR 可 以 将 H 化 为 上 三 角形 矩阵 . 这 
里 Gi; = G(i,i - 1,0). 对 于 n= A TRE, 作 三 次 Givens AFR: 


x x x x x X x X 
x X X X 0 x x x 

一 一 一 
0 x x x 0 x x x 
0 0 x x 0 0 x x 
X x X X x X X Xx 
0 x x x 0 x x x 

一 一 一 一 一 一 
0 0 x x 0 0 x x 
0 0 x x 0 0 Q x 

参见 算法 5.23. 
计算 RQ = R(G,--G, 1) 同样 容易 实现 . 在 n = 4 时 作 三 次 Givens ARR: 

X X X X x X X X 
0 x x x X X X X 

一 一 
0 0 x x 0 0 x x 
0 0 0 x 0 0 0 x 
x X X X X X X X 
x X X X X X X X 

——À ——À 
0 x x x 0 x x x 
0 0 0 x 0 0 x x 


综 上 所 述 , 我 们 得 到 下 面 的 算法 . 
算法 7.4.1 WA H XE nxn 上 Hessenberg HH, 则 本 算法 用 H= RQ A 
盖 H, &2 H=QRAA 的 QR 分 解 . 
fork -- 1:n—1 
[c(), s(k)) = givens(H(k, k), H (k + 1, k)) 
c(k) (k) | "m 


_s(k) clk) :k+1,k:n) 


Herne | 


end 
fork=1:n-1 


EE] 


end 
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S Gk = G(k, k +1,01) 是 第 天 次 Givens 旋转 变换 . 容易 断定 Q— GG, 是 
上 Hessenberg RE. 这样 , RQ = H} 也 是 上 Hessenberg 和 矩阵， 这 个 算法 需 大 约 
6n? 个 flop, 这 就 比 (7.3.1) 中 的 满 矩 阵 QR 步 快 一 个 数量 级 . 

例 7.4.1 将 算法 7.4.1 应 用 于 


3 1 2 
H = 4 2 3 | ， 
0 0.01 1 
WA 
0.6—0.8 0 
G, =| 08 06 0], 
0 0 1 
1 0 0 
Ge = | 0 0.9996 —0.0249 |, 


0 0.0249 0.9996 


4.7600 一 2.5442 5.4653 
H.-— | 0.3200 0.1856 —2.1796 
0.0000 0.0263 1.0540 


7.4.3 Hessenberg 约 化 
接 下 来 要 说 明 的 是 如 何 计算 Hessenberg 4 f: 
UAU =H, Ujuo = 工 (7.4.3) 


变换 矩阵 Uo 能 够 通过 计算 Householder 矩阵 Pi,---Pp-2 之 乘积 而 得 到 . FEM Py 
的 作用 是 将 第 k 列 在 次 对 角 元 以 下 的 元 素 都 化 为 零 . dE n = 6 时 , 我 们 有 


X X X X X X X X X X X X 

X X X X X x X X X X X X 

X X X X X X P, 0 x x x x x P; 
一 一 一 一 —— 

X X X X X X 0 x x X x X 

X X X X X X 0 x x x x x 

x x X x X X 0 x x x x x 

x x x x x X x x x x x x 

x x x x x x x x x x x x 

0 x x x x x P; 0 x x x x x P. 
一 -一 一 ——3À 

0 0 x x x x 0 0 x x x x 

0 0 x x x x 0 0 0 x x x 

0 0 x x x x 0 0 0 x x x 
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X X X X x x 
X X X X X X 
0 x x x x x 
0 0 x x x x 
0 0 0 x x x 
0 0 0 0 x x 


通常 , k -1 步 后 , 我 们 计算 了 一 1 个 Householder 矩阵 P1,.… ,Pi_1, 使 得 
By Biz Biz | k-1 
(P,-- Pki) AQ. Pu) | Ba Boo Bos 1 
0 Ba; Bss | n-k 
k-1 1 n-k 
的 前 一 1 列 是 上 Hessenberg 矩阵 . 假设 P 是 秩 为 n — k 的 Householder 矩阵 ， 
使 得 PsB3z 是 (079 的 倍数 , 如 果 Pr = diag(I4, Px), 那么 
Bı Bz Bis P. 
(Pi. P&4)TA(Pi-- Ph) = | Ba Ba BoP; 
0  P,Bs; P.Bs3P 


的 前 列 为 上 Hessenberg XERE. WF k —1:n—2 重复 此 一 过 程 , 我 们 得 到 下 列 
算法 7.4.2(Householder 约 化 矩阵 为 Hessenberg W) 给 定 A c R”, F 
面 的 算法 计算 H = UTAU, UR É£ A, 其 中 H 是 上 Hessenberg HHH Uo 是 
Householder 和 矩阵 的 乘积 . 
for kK=1:n-2 
[v, 8] = house(A(k + 1 : n, k)) 
A(k-1:n,k:n) 2 ([— BvvT)A(k - 1:n, km) 
A(l:n,k+1:n)= AQ: nj kc 1: n)(I — vv?) 
end 
这 一 算法 需 1003/3 个 fop. 若 要 显 式 写 出 Uo, 需 附加 4n3/3 flop. 第 上 个 House- 
holder 矩阵 可 存放 在 A(k+2 : n,k) 中 . 欲 知 详情 , 请 见 Martin and Wilkinson(1968d). 
这 个 方法 化 A 为 Hessenberg 型 的 舍 入 误差 性 质 是 很 令 人 满意 的 . Wilkin- 
son(1965, 351 页 ) 指出 计算 的 Hessenberg 和 矩阵 AYE A = QT(A+ E)Q, 这 
里 Q E245 |IE||r € cnullAllr, c 为 较 小 的 常数 . 


例 7.4.2 # 
15 7 1 0 0 
4=|13 061], Uo-|0 06 0.8 |， 
4 31 0 08 -0.6 
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则 
1.00 8.60 —0.20 
UJAUo = H = | 5.00 496 —0.27 
0.00 2.28 —3.96 
7.4.4 三 级 性 质 


Hessenberg 约 化 (算法 7.4.2) 有 大 量 的 2 级 运算 : 一 半 是 gaxpys 修正 , 一 半 是 
外 积 修 正 . 为 了 在 约 化 过 程 中 引入 3 级 计算 , 我 们 简略 讨论 两 种 方法 . 
第 一 种 方法 非常 直接 , 它 涉及 把 分 块 矩 阵 约 化 为 分 块 Hessenberg 型 . 设 (为 清 
楚 起 见 )n = rN 并 记 
A= | An Ar | T 


Aa Age nor 


r n—r 
假设 我 们 已 计算 An 的 QR 分 解 An = QE, HQ, 是 WY 型 . 也 就 是 说 , 我 们 
有 Wi, Y e RO 使 得 @ = I-WiYT (参看 5.2.2 节 ). H Q = diag(I,, Q), 
则 
T Ai AQ 
Q1 AQ, = | R, Qi AxQ, | l 

注意 到 , 只 要 Q 是 WY 型 , 那么 修正 (1,2) RA (2,2) 块 就 有 大 量 的 3 级 运算 . 
QT AQ, 的 第 一 块 列 是 分 块 上 Hessenberg 型 . 这 也 就 完全 演示 了 全 过 程 . 接着 我 们 
重复 计算 Qi An, 的 前 7 列 . Æ N - 2 步 之 后 , 我 们 获得 


Hu Hy +e es Hin 

Ho Ho … Us Hon 
H=U,;AU j=| 0 

0 0 … Hyn, -1 HNN 


其 中 每 个 Hy 是 7 xr 矩阵 且 Uo = Q1… Qu o, 每 个 Q; 都 是 Wy 型 . 整个 算法 
中 3 级 计算 所 占 比 例 为 1- 0(/N). 

注意 到 H 中 的 次 对 角 块 是 上 三 角形 短 隆 于 是 矩阵 下 带宽 为 p. 除了 第 一 条 
次 对 角 线 外 ,其余 都 可 以 用 Givens 旋转 变换 消 为 零 , 从 而 约 化 H 为 一 个 真正 的 
Hessenberg 型 . 

Dongarra, Hammarling and Sorensen(1987) 已 证 明 , 怎样 混合 使 用 gaxpy 算法 
和 3 级 修正 直接 约 化 为 Hessenberg 型 . 他 们 的 思想 是 当 每 个 Householder 变换 已 
产生 后 ,只 需要 作 极 小 化 校正 ， 例 如 , 设 第 一 个 Householder HRP, 已 算出 , 为 
得 到 Po, 我 们 只 需要 PAP, 的 第 2 列 , 不 是 整个 外 积 修正 ， 为 构造 Ps, 我 们 
RE P PLAP: P: 的 第 3 列 , 等 等 ， 用 这 种 方式 , 仅 需 用 gaxpy 运算 就 可 确定 
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Householder 和 矩阵, 而 不 涉及 任何 外 积 修正 . 一 旦 有 了 适量 的 Householder 矩阵 , 它 
们 合 在 一 起 用 3 级 方式 去 进行 修正 . 


7.4.5 Hessenberg 和 矩阵 的 重要 性 质 


Hessenberg 分 解 不 是 唯一 的 . 如 果 Z 是 任 一 n x n 正 交 和 矩阵, 我 们 应 用 算法 
7.4.2 于 Z' AZ, 则 QT AQ = H 是 上 Hessenberg 矩阵 , 其 中 Q = ZU. 然而 ， 
Qe, = Z(Uoe1) = Zei, 这 表明 只 要 Q 的 第 1 列 是 指定 的 , 则 五 就 会 唯一 . 实质 
上 这 在 H 没有 零 次 对 角 元 素 时 是 千 真 万 确 的 ， 具有 这 种 性 质 的 Hessenberg 矩阵 
称 为 不 可 约 的 . 以 下 是 一 条 很 重要 的 定理 , 它 说 明了 Hessenberg 约 化 的 唯一 性 . 

定理 7.4.2 (RA Q 定理 ) ”假设 @ = [dau] fV m [ol ,Vn] 都 是 正 
ZEH, R. QTAQ = H f¢ VT AV =G 均 是 上 Hessenberg HH, 这 里 Ac R™”. 
令 天 是 使 heiik 二 0 的 最 小 正 整 数 , 4 H 不 可 约 时 约定 下 =m. 如 果 gl = vi I 
2 qi = xvi B. hai] = lgi- i 二 2:k. m E, Æ kc n, A] grik = 0. 

证 明 ”定义 正 交 矩阵 W = [wi,… ,wn] = V'Q 且 注 意 到 GW = WH. Ñ 
过 比较 这 一 等 式 的 i 一 1 列 (i = 2: k), 我 们 知道 

i-1 
hj i-iwi = GWi-1 — > hji—1 Wj. 
j=l 
Hw, = ei, 得 出 lw1,… , wee LEA, 于 是 wi = Isi) = teiíi—2:k. 
KM wi = V7q,; Wl hii-1 = wi Gwi-1 可 以 推出 v; = xq; B. 


Ihai-il = la; Aq; al = |v; Avi-1| = lgiiil $-2:k. 
MR k <n, W 


T — oT oT 
Derik = €x Ck = Ek GWe = ekp W Hex 


k k L1 
We, = Lol .一 
一 eiu 2 hik €; = 2 hik€ p41 6s = 0. 
?一 2 二 


隐 式 Q 定理 的 要 由 在 于 , WR QTAQ = H 和 Z' AZ = G 都 是 不 可 约 的 
上 Hessenberg 和 矩阵 , E Q 和 Z 第 一 列 相同 , BAG 和 A 是 “本 质 上 相等 ”, BD 
G=D-1HD, 其 中 D = diag(+1,--- , +1). 

下 一 个 定理 涉及 称 为 Krylov 拖 阵 的 一 种 新 类 型 矩阵 . 如 果 A eR” 和 ve 
R^, BRA Krylov 矩阵 K(A,v,j) € R" 定义 为 

K(A,v,j)-|v Av Ai^ ly]. 

可 以 证 明 在 Hessenberg 约 化 QT AQ = H 和 Krylov SE K(A,Q(, 1), n) 的 QR 
分 解 之 间 有 联系 . 

定理 7.4.3 ”假设 Q ERnxnm 是 正 交 矩阵 且 A cR”. 则 QIA4Q — H 是 不 
可 约 上 Hessenberg 4244 B44 QTK(A,Q(:,1),n) = REF HEALS RBH 
E. 
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TEAR 设 QeRnxn 为 正 交 和 矩阵 且 令 H = QT AQ. 考虑 以 下 恒等式 
Q™K(A,Q,)),n)=fer He, --- Hte] = R. 
如 果 H 是 不 可 约 的 上 Hessenberg EW, 那么 很 清楚 R 是 上 三 角形 矩阵 且 ra = 
hzih32' hiis, 2: n. Hbri =1 RIA R IERA. 口 

为 了 证 明 其 逆 关 系 也 成 立 , RR 是 上 三 角形 矩阵 且 非 奇异 . 由 于 R(:,k 十 1) = 
HR(.,k), 可 以 得 出 H(: k) € span{e1, ,ep+1}. 这 隐 含 着 H 是 上 Hessenberg 4B 
BE. 由 于 ran = haha hnn-1 关 0, 可 以 推出 H 是 不 可 约 的 . 

这 样 , 在 非 奇 异 Krylov 矩阵 和 将 矩阵 约 化 为 不 可 约 的 Hessenberg 矩阵 的 正 交 
相似 变换 之 间 多 多 少 少 有 一 种 对 应 关系 . 最 后 一 个 结论 是 有 关 不 可 约 上 Hessenberg 
ae RPE (DS. 

定理 7.4.4 wR 入 是 不 可 约 的 上 Hessenberg HH Hc R™” 的 特征 值 , 那 
么 它 的 几何 重 数 为 1. 

证 明 ”由 于 五 - AT 的 前 ”-1 列 线性 无 关 , 因而 对 任意 A € C, 我 们 有 
rank(A — AI) 2 n— 1. a 
7.4.6 eee 


正如 Schur 分 解 有 相应 的 非 酉 Jordan 分 解 一 样 , Hessenberg 分 解 也 有 其 相应 
的 非 酉 友和 给 阵 分 解 . 令 zc R^ A Krylov MM K = K(A,z,n) 非 奇 异 . 如 果 
c=c(0:n—1) 是 线性 方程 组 Ke = -A'r 之 解 ， 则 可 以 推出 AK = KC, 其 中 


00 ... 0 -co 
10... 0 -a 

C=|0 1- 0 -e |. (7.4.4) 
0 Ov 1 -cwi 


矩阵 C RARER. 因为 
det(zT 一 CI 一 co 二 cz 十 … 十 cn_1zm > o z^, 

所 以 可 以 推出 , 若 K 非 奇异 , 那么 分 解 KAK = C 显示 4 的 特征 多 项 式 . 这 一 
性 质 以 及 C 的 稀疏 性 导致 了 各 个 应 用 领域 的 “友和 矩阵 方法 ”. 这 些 方法 一 般 包 括 : 

e 计算 Hessenberg 分 解 UTAUo =H; 

e 希望 五 不 可 约 并 令 了 = [ei, Hei , He]. 

e 由 方程 YC = HY 解 出 C. 
不 幸 的 是 , 这 个 计算 非常 不 稳定 . 仅 当 4 的 每 个 特征 值 的 儿 何 重 数 都 为 1 时, 4 才 
相似 于 不 可 约 Hessenberg 矩阵 . 具有 这 种 性 质 的 矩阵 称 为 非 减 阶 短 阵 . 可 以 得 知 ， 
当 A 靠近 减 阶 和 矩阵 时 , EXRAEPE Y 的 条 件 可 能 很 差 . 

关于 友和 矩阵 计算 的 危险 性 的 完整 讨论 , 可 见 Wilkinson(1965, 从 405 页 起 ) 
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7.4.7 用 高 斯 变换 进行 Hessenberg 约 化 


虽然 是 在 讨论 用 非 正 交 变 换 将 矩阵 约 化 为 Hessenberg 型 , 我 们 应 该 指出 也 可 用 
高 斯 变换 取代 算法 7.4.2 中 的 Householder ER. 特别 地 , 假设 置换 Mi, Hua 
和 高 斯 变换 M; Mya 已 经 确定 , 它们 使 得 


(Mi-iHyi: MiIi)A(OM iHi Milli) = B, 


其 中 
Bi Bi Bis k—1 
B= | Bs Bo Bz 1 
0 Ba B33 n— k 
k-1 1 n-k 


ANAT k—1 列 是 上 Hessenberg 矩阵 ， 然 后 确定 一 个 秩 为 n-k 的 置换 Ik 使 得 
Ba 的 第 一 个 元 素 绝对 值 最 大 . 这 就 有 可 能 确定 一 个 稳定 的 秩 也 为 n-k 的 高 
斯 变换 My = I — zkeT, 使 得 Mi. (IE Baz) 的 除 第 一 个 元 素 外 的 所 有 元 素 均 为 零 . E 
X. II, = diag(Iy, r) 和 My = diag(Iy, Mx), 我 们 看 到 


(MIr: Mi;HS)A(M IL, Milli) | 


Bi Bi; Bo, M, 
= B3 Boo Bali Mj, 
0 Mr Hg Bs, Mr, Ü, Bs, My. 


HIRT k 列 是 上 Hessenberg 矩阵 . 注意 到 M, = 了 十 zpeT, 即 知 约 化 过 程 只 是 一 些 
很 简单 的 秩 1 校正 . 

仔细 统计 即 知 , 用 高 斯 变换 化 为 Hessenberg 型 只 需 Householder 方法 一 半 的 
运算 量 . 然而 , 与 列 选 主 高 斯 消去 法 一 样 , 数据 增长 可 能 达到 2^ 倍 (虽然 少见 ). 见 
Businger(1969). 用 高 斯 方法 的 另 一 困难 是 ， 特征 值 的 条 件数 ( 即 s()-!) 在 非 正 交 
相似 变换 中 并 非 保持 不 变 , 这 就 使 得 误差 估计 变 得 复杂 . 


习 题 


7.4.1 WACR'""" Az eR", 请 给 出 一 个 详细 算法 来 计算 正 交 和 矩阵 Q 使 得 QT AQ 
是 上 Hessenberg ÆRE QTz 是 e; 的 倍 量 . (提示 : 先 约 化 z, 然后 应 用 算法 7.4.2) 

7.4.2 ” 详 述 用 高 斯 变换 化 矩阵 为 Hessenberg 型 的 整个 过 程 并 证 明 它 只 需 on? /3 个 flop. 

7.4.3 ”在 一 些 情形 ， 有 必要 针对 许多 不 同 的 zeE 民 和 be R" 的 值 求解 线性 方程 组 
(4+z7)z = b. 说 明 用 Hessenberg 分 解 能 有 效 且 稳定 地 解决 此 问题 . 

7.4.4 ”给 一 个 显 式 计算 算法 7.4.2 中 和 矩阵 Uo 的 详细 算法 , 算法 中 H 最 终 由 Uo Bik. 

7.4.5 E H c R"*" 是 不 可 约 上 Hessenberg SER, uEBJZEZE—ÓM AMM D 使 得 

DHD 的 每 个 次 对 角 元 都 等 于 1. (D) 是 多 少 ? 
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746 W W,Y ER", HEXER C fü B S 
W -Y 
Y Wi 
证 明 如 果 A € Al) 为 实 , 则 A € ACB), 并 说 明 相应 特征 向 量 的 关系 . 
7.4.7 设 A= | ) . | EKER, AE A tin, 其 中 p ER, 给 出 一 个 算法 稳定 


RH c= cos(@) 和 s = sin(8) 使 得 
€ S T u mc c 8 L 入 B 
—8 c y z -s cl] [a Al’ 
其 中 af = —p’. 


7.4.8 $ (A,x) 为 上 Hessenberg 矩阵 H c R” 的 一 已 知 特征 值 -特征 向 量 对 . 给 出 
一 算法 计算 正 交 矩阵 P, 使 得 


c=w+i, B=] 


PTHP = | A w? | 
0 Hi 
其 中 Hi e ROD”) 是 上 Hessenberg 和 矩阵. P 应 为 Givens BRZIR. 
74.9 YH CR” 下 带宽 为 p, 说 明 怎样 计算 Q cR” (Givens 旋转 之 乘积 ), 使 得 
QTHQ 是 上 Hessenberg 矩阵 . 需 多 少 个 flop? 
7.4.10 WH: 若 C 是 具有 不 同 特征 值 A1，,… ,和 的 友 算 阵 , 则 VOV = diag( 和 1,.…， 
An), 其 中 


1 A ce AD 

1A € ART! 
V=]. . 、 

1 N eel xi 
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7.5 XA QR 算法 


我 们 重新 讨论 Hessenberg QR KK, 将 它 写成 : 
H=UAUy (Hessenberg 约 化 ) 


for k= 1,2,... 
H=UR (QR 分 解 ) (7.5.1) 
H= RU 

end 


本 节 的 主要 目的 是 描述 H 如 何 收敛 到 拟 上 三 角 型 以 及 说 明 为 什么 “位 移 ” 可 加 快 
收敛 速度 . 


7.5.1 EK 


不 失 一 般 性 , 我 们 可 以 假定 (7.5.1) 中 每 个 Hessenberg 矩阵 五 都 是 不 可 约 的 . 
否则 的 话 , 在 某 一 步 我 们 有 


H H 
H= 11 12 p , 
0 Han | n-p 


p n-p 
其 中 1<p<m TENDEN AU BRKT Hn 和 Hy 的 小 问题 . 关于 这 一 
点 , 我 们 也 用 “ 降 阶 ”这 一 术语 , 在 p 一 nn 一 1 或 p =n 一 2 时 常常 如 此 . 
实际 上 , 当 五 的 次 对 角 元 素 适当 小 的 时 候 , SERI ETT APA. 例如 , 在 Eispack 
中 , 如 果 
[hprip) € cu(|App| + |Ap+1,p+11); (7.5.2) 


c 为 小 常数 , 就 把 hu LU WE” WE. 这样 做 是 合理 的 , 因为 在 整个 矩阵 中 早已 有 
T ul|H|| 量 级 的 舍 入 误差 . 
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7.5.2 Ai QR 迭代 
4 p c R, 考虑 如 下 迭代 ; 
H = UAU, (Hessenberg 约 化 ) 
for k = 1,2,--- 
决定 标量 / 
H-yI-UR (QR 分 解 ) 
H = RU t UI 


(7.5.3) 


end 
标量 u 称 为 位 移 . (7.5.3) 中 产生 的 每 个 矩阵 H 相似 于 A, 因为 
RU + pI =UT(UR+pDU = U' HU 
如 果 我 们 将 A 的 特征 值 和 ; 排序 使 得 
(Ar -u| 2 e > [An - ul 
Ep 在 迭代 过 程 中 辐 定 不 变 ， 那么 7.3 节 中 的 理论 表明 H 中 的 第 p 个 次 对 角 元 
xoa |E] Wc o. SS, Ly = sa, 则 根本 不 收 全 ,但 是 , 比方 


说 , WR u 比 其 他 特征 值 更 靠近 An, 那么 元 素 (n,n -1) 会 很 快 变 为 零 . 极端 情形 
下 , 我 们 有 以 下 定理 . 

定理 7.5.1 fy X nx n 不 可 约 的 Hessenberg HM H 的 特征 值 , 如 果 
A= RU + ul, i € H - uI -UR A H — pl 的 QR 分 解 ,那么 hnn_1 二 0 A 
hnn = p. 

证 明 ”由 于 HERTHA Hesserberg 矩阵 , 不 论 u 值 为 何 , 二 一 pT BSA n—1 90 
是 线性 无 关 的 . BOM, 如 果 UR = (H- pl) 是 QR 分 解 , 那么 ,rii A 0,0 = 1: 0-1. 
但 是 入 一 pI 奇异, 则 ruran =0. 这 样 ,rnn =0 且 H(n:))-|0,-,0, 4. O 

定理 表明 , 如 果 用 特征 值 作 位 移 , 一 步 欠 代 就 能 将 矩阵 降 阶 . 


例 7.5.1 we 
9 -1 -2 
2 6 -2 |， 
0 1 5 


则 6 € AH), A X UR— H — 61 是 QR òt, m) H = RU 61 为 
8.5384 —3.7313 —1.0090 
H = | 0.6843 5.4615 1.3867 |. 
0.0000 0.0000 6.0000 


H = 


7.5.3 ”单位 移 策略 

现在 让 我 们 考虑 , 在 迭代 过 程 中 随 着 次 对 角 元 素 收敛 到 零 , 参考 有 关 (A) 新 
的 信息 而 改变 六 值 . 一 种 探 试 法 是 认为 hn 为 沿 对 角 线 的 最 佳 近似 特征 值 . 如 果 在 
每 次 迭代 都 用 此 量 作 为 位 移 , RIRE PHARRR E: 
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for k=1,2,--- 
u= H(n,n) 
H-yul -UR (QR 分 解 ) (7.5.4) 
H = RU + pI 

end 


如 果 (n,n — 1) 元 收敛 为 0, 则 其 收敛 速度 很 可 能 是 二 次 的 ， 为 说 明 这 一 点 , 我 们 
借用 Stewart(1973,366 页 ) 的 一 个 例子 . 假设 A 是 如 下 不 可 约 的 上 Hessenberg 4& 
KE: 


x X X 


x 
hnn 
且 我 们 执行 一 步 单位 移 QR BYE: UR = H - hal, H = RU + hol. 经 过 化 
H — hmn! 为 上 三 角 型 的 n 一 2 步 后 , 我 们 获得 具有 如 下 结构 的 矩阵 ， 


ik 
ooo xXx x 
oo xX xX x 
ox Xxx 


x 
x 
x 
x 
E 


"i 

I 
ocooootx 
ooo xX x 
Ox x x 
m BR X X X 
CX x x 


0 0 


不 难 证 明 A = RU + Anant 的 (n,n 一 1) 元 为 —6?b/(e? +0”). 如 果 我 们 假定 s <a, 
则 很 清楚 新 的 (n,n — 1) 元 之 量 级 为 e, 这 恰 是 我 们 对 一 个 二 次 收敛 算法 所 期 待 的 . 
例 7.5.2 PŽ 


1 2 3 
H=)4 5 6 
0 0.001 7 


RUR-H 7I 是 QR 258,364 H=RU+TIA 


—0.5384 1.6908 0.8351 
H = 0.3076 6.5264 —6.6555 
0.0000 2x10-5 7.0119 


像 以 上 的 接近 最 佳 位 移 几乎 总 能 保证 hnn- Bb. 然而 , 这 只 是 一 个 直观 经 验 , 有 
例子 表明 , 即使 Omin( H — pI) uni 4,3 — A BEI 8I RAR. 


7.5.4 ” 双 位 移 策 略 
不 幸 的 是 , 在 迭代 过 程 当 
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hmm hmn 
G= , m=n-1 7.5.5 


的 两 特征 值 cx: 和 as 为 复数 时 , 则 hnn 将 是 一 个 很 坏 的 近似 特征 值 , 这 时 ,(7.5.4) 有 
麻烦 就 是 意料 之 中 的 . 
绕 过 该 困难 的 途径 是 , 逐次 应 用 a1 和 a» 作 位 移 量 进行 两 次 单位 移 QR 迭代 : 
H-al=UR, 
Hi =RiUi + ail, (7.5.6) 
Hı — 2531 =U,R,, 
H —R3U;-r aol, 
由 这 些 等 式 可 推 得 
(UiUa)(RaRI) = M, (7.5.7) 


其 中 M 定义 为 
M = (H -a D(H 一 aal). (7.5.8) 


注意 到 , 即使 G 的 特征 值 为 复数 , M Be, 这 是 因为 
M = H? — sH +t, 
其 中 s = ai +: ag = hmm + hnn = trace(G) € R, H 
t = Q102 = Ammhnn — hmnhnm = det(G) ER. 
IRE, (7.5.7) 是 一 个 实 矩阵 的 QR 分 解 且 我 们 可 选择 U, 和 Us 使 得 Z = UU» 是 
KEPE. 于 是 ， 
H, =USHiU, = US (UF HUS )U 
=(U,\U2)/"#H(U1U2) = ZTHZ 
ESE. 
不 幸 的 是 , 舍 入 误差 几乎 总 是 阻止 Ho 回 到 实数 域 . 欲 保证 Ho AKERE, 则 
只 要 : 
e RROD XEM M =H’ -sH 4t; 
。 计算 M = ZR 的 实 QR 分 解 ; 
e 4- H = ZHZ. 
但 由 于 第 一 步 需 O(n3) 个 Hop, 故 这 并 非 是 实用 的 . 
7.5.5 ” 双 隐 式 位 移 策 略 
幸运 的 是 , 借助 于 7.4.5 节 中 的 隐 式 Q 定理 , 我 们 能 够 只 需 O(n”) 个 flop 就 实 
现 双 位 移 步 . 确切 地 说 , 如 果 我 们 采用 以 下 步骤 , 则 只 需 O(n”) 个 flop 就 能 实现 从 
H 到 H; 的 转变 . 
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e 计算 Mei, 即 M 的 第 一 列 . 

e 确定 Householder 矩阵 Po 使 得 Po(Mei) 是 el 的 倍数 . 

e 计算 Householder #2@ Pi, P,.2 使 得 如 果 Z1 = PoP. ---Pn-2, 那么 
. ZTHZ, 是 上 Hessenberg HMA Z 和 Z, 的 第 一 列 相同 . 

在 这 些 情况 下 , 隐 式 Q 定理 允许 我 们 得 出 结论 , 如 果 ZTHZ 和 ZI HZ. 均 
是 不 可 约 的 上 Hessenberg 矩阵, 那么 它们 本 质 上 相等 . 注意 到 如 果 这 些 Hessenberg 
和 矩阵 不 是 不 可 约 的 , 那么 我 们 可 以 进行 解 耦 , 然后 就 处 理 较 小 的 不 可 约 子 问题 . 

让 我 们 来 进行 仔细 推导 . 首先 注意 到 ,Po 只 需 O(1) 个 flop 就 能 求 出 , 这 是 因 
为 Me, = [zx,y,z,0,… ,0]T, 其 中 

z = ht, + hh2l — shi +t, 
y = hoi(hi + haa — 8), 
z = haihae. 


由 于 相似 变换 Po 只 是 改变 1,2,3 行 和 1,2,3 列 , 我 们 看 到 


PoHPo = 


oO xX X X X 
cO OX X X X 
oO xX X X X 
OX X X X X 
X X X X X X 
X X X X X X 


现在 Householder 矩阵 P;,-.., P, 2 之 任务 是 将 此 矩阵 恢复 为 上 Hessenberg 5ü 
EE. 计算 过 程 如 下 : i l 


X X X X X X X X X X X X 

X X X X X X X X X X X X 

x x X X x X P, 0 x x X x X P; 
i BEN 

X X X X X X 0 x x x x X 

0 0 0 x x x 0 x x x X x 

0 0 0 0 x x 0 0 0 0 x x 

X X X X X X X X X X X X 

X X X X X X X X X X X X 

0 x x x x x P; 0 x x x x x P, 
-一 一 一 一 -一 一 

0 0 x x x x 0 0 x x x x 

0 0 x x x x 0 0 0 x x x 

0 0 x x x x 0 0 0 x x x 
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oo oc XK X 
oo 0 X X X 
Coo X X X X 
© X X X x X 
X X X X X X 
X X X X X X 


很 明显 , Pr 的 形式 为 Pi = diag(Zx, Pe, £5.13), 其 中 P, 是 3x3 的 Householder 
kee. 例如 : 


100 0 0 0 
010 0 0 0 
P,= 00 x x x 0 
00 x x x 0 
00 x x x 0 
0000 0 1 


注意 到 Pp. 例外 , 因为 Pn_2 = diag(In 2, P2). 

通过 观察 Prel = 6, k=1:n-2 UR Po MZ 有 相同 的 第 一 列 ， 即 知 可 应 
用 定理 7.4.2( 隐 式 Q 定理 ). 因此 , Zie: = Zei, 且 我 们 能 断定 ， 只 要 上 Hessenberg 
矩阵 ZTHZ 和 ZIHZ; 均 不 可 约 , 则 2Z1 和 Z 本 质 上 相等 . 

从 A 隐 式 确定 Ho 首先 是 Francis(1961) 提出 的 , 我 们 称 之 为 Franics QR¥. 
完整 的 Francis 步 归 纳 如 下 . 

算法 7.5.1 (Francis QR 步 ) 给 定 不 可 约 的 上 Hessenberg # H € 及 "xm， 
它 的 最 后 2 x 2 主子 矩阵 有 特征 值 al 和 qz, 本 算法 计算 Z'HZ HASH, 这 里 
Z = Pi1..…P,_2 是 一 列 Householder HHH ARE ZT(H — a11)(H — al) 是 上 
三 角形 矩阵 . 

m=n-—1 

{计算 (H — a4 I)(H — a1) 的 第 一 列 } 

s = H(m,m) + H(n,n) 

t= H(m,m)H(n,n) — H(m,n)H (n, m) 

z= H(,1)H(11)-- H(1,2)H(2,1) — sH(1,1) +t 

y = H(2,1)(H(1,1) + H(2,2) — s) 

z = H(2,1)H(3,2) 

fork 20:n—3 
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end 
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[v, 8] = house([z y z217) 
q = max(1, k). 
H(k+1:k4+3,¢:n) = (I - Buv')H(k41:k4+3,¢:7) 
r =min{k+4,n} 
H(l:r,k+1:k+3)=HA(1l:r,k4+1:k4+3)(1- BvvT) 
z= H(k--2,k-- 1) 
y = H(k - 3, k - 1) 
i k«n-3 

z= H(k-- A, k 4-1) 


end 


[v, 8] = house([x yl) 
H(n—1:n,n—2:n) = (I — BvvT)H(n - 1:n,n —2:n) 


Hü 


这 一 算法 需 10n? 个 flop, 如 果 把 Z 显 式 计算 成 一 个 正 交 矩阵 , 则 还 需 额外 10n? 个 


flop. 


:m,n—-1:n) 2 H(1:n,n—1:n)( — BvvT) 


7.5.6 ”完整 计算 过 程 


运用 算法 7.4.2 约 化 4 为 Hessenberg 型 ， 然后 用 算法 7.5.1 进行 迭代 来 产生 一 
个 实 Schur 型 是 解决 稠密 的 非 对 称 矩 阵 特征 问题 的 标准 手段 . 在 迭代 过 程 中 必须 
监视 H 的 次 对 角 元 素 以 便 发 现任 何 可 能 的 解 耦 . 下 面 算法 具体 演示 了 如 何 实现 这 


Z tol, 本 算法 计算 实 Schur 标准 型 QTAQ =T. A 用 Hessenberg 分 解 履 盖 . 如 果 
需要 求 出 QT, MAT 储存 在 H P. 如 果 只 是 需求 特征 值 , UT 的 对 角 块 存 


AH 中 相应 的 位 置 . 
用 算法 7.4.2 来 计算 Hessenberg 约 化 


H = UtAUo, 其 中 Uo = Pi:… Pa- 


只 要 @Q 是 所 需 型 Q = P1.… Pn 2, 555167. 


until g=n 


令 所 有 满足 
Ihai-i| < tolla] + |Ri-1,s-11) 


的 次 对 角 元 素 为 0, 找到 最 大 的 非 负 gq 和 最 小 非 负 p 使 得 


0 0 H33 
p n-p-q4q q 


这 里 Hz 是 拟 上 三 角形 给 阵 且 日 22 是 不 可 约 的 .( 注 意 : p 或 g THA . 
零 .) 
if q<n 
对 Hoo 构造 一 Francis QR 39: Ha = ZT H33Z 
if 需求 @ 
Q=Q diag(p, Z, Iq) 
Ho; = HiaZ 
Has = Z” Has 
end 
end 
end 
KH 中 所 有 特征 值 为 实 的 2x2 的 对 角 块 化 为 上 三 角形 式 , 如 有 必要 , RRE 
REE. 
如 果 需 计算 Q 和 T, 此 算法 需 25 个 flop; 如 果 只 需 算 特征 值 , 则 需 10n3 个 flop. 
这 些 flop 数 是 很 粗 的 估计 , 它们 是 基于 这 样 的 直观 经 验 : 低 阶 的 1x1 或 2x2 子 
矩阵 解 耦 , 平均 每 次 仅 需 两 次 Francis 近代 . 
fi 7.5.3 ”如 果 算 法 7.5.2 应 有 到 


> 

il 
eO o0 o0 m»t 
Sow Rw 
Donon p 
= OA a 
© OND 


那么 次 对 角 元 素 有 如 下 收 化 OUT XC). 
QR 算法 的 含 入 性 质 是 人 们 使 用 任何 正 交 和 矩阵 技术 所 期 望 的 ， 计 算得 到 的 实 
Schur 型 全 正 交 相 似 于 邻近 A 的 矩阵 , BE 


Q"(A  E)Q — T, 
其 中 QTQ - I B (Ell; © ullAll. 求 得 的 Q 几乎 是 正 交 的 , 这 是 因为 Q Q = 
了 十 五 , 其 中 ||Fllo 2 u. 
P 的 特征 值 顺序 多 少 有 点 任意 , 但 正如 我 们 在 7.6 节 中 所 述 , 利用 互 换 两 个 相 
邻 对 角 元 素 的 方法 , 就 可 获得 任意 排序 . 
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— ZR Oar) Olhsz) Oh) Cdhaal 
1 10° 10° 10° 10° — 
2 10° 10° 10° 10° 
3 10° 10° 1071 10° 
4 10° 10° 1073 10-3 
5 109 109 10-9 10-5 
6 1071 109 10713 10713 
7 107! 109 10728 10713 
8 10-4 109 收敛 收敛 
9 10-8 10° 
10 10-8 10° 
li 10-16 109 
12 10-32 10° 
13 收敛 Wee 

7.5.7 平衡 


最 后 , 我 们 应 注意 到 , 如 果 A 的 元 素 的 数量 级 变化 很 大 , 则 在 应 用 QR 算法 之 
前 , 应 对 4 进行 平衡 . 这 需要 O(n?) 次 运算 来 计算 对 角 和 矩阵 D 使 得 车 
rt 
DAD = [cl ++: Ch] = 


ri 


则 [jrillw ~ [leilloo, i= 1: n. WHEE D 选 成 具有 形式 D = diag(97, ,f") ， 
其 中 8 是 浮 点 基数 . 注意 , 这 样 计 算 DUAD 就 可 以 没有 售 入 误差 . 当 4 被 平衡 
后 , 计算 的 特征 值 常 常会 更 精确 . 参看 Parlett and Reinsch(1969). 


习 题 


7.5.1 ”证 明 : d; E = QUHQ 是 用 互 = | , | 执行 一 单位 移 QR 步 而 获得 的 , 则 


1h21] < ly? zl/[w — 2)? + y’). 
7.5.2 Hk 2 x 2 对 角 和 矩阵 D 的 公式 , 这 里 D 使 得 DIAD] 极 小 化 , 其 中 


A- w T 


y z 
7.5.3 ” 试 解释 单位 移 QR # H — uI =UR,Ĥ = RUT+AHAT 是 怎样 隐 式 执行 的 . 即 表 
明 不 用 从 H 的 对 角 线 减 去 p 从 矩阵 A 到 H 的 变换 是 怎样 进行 的 . 
7.5.4 WE H 是 上 Hessenberg 矩阵 且 我 们 用 列 选 主 元 的 高 斯 消去 法 计算 分 解 PH = 
LU. 证 明 : Hı = U(PT L) 是 上 Hessenberg 矩阵 且 相 似 于 H. (这 是 修正 LR 算法 的 基础 .) 
7.5.5 ”证 明 : 车 互 = Ho 给 定 且 我 们 由 Hr- pel =ULRe, Hepi = ReU e+ pal 77 
生 第 阵 He, 则 


(U,---U;)(Rj ++ Ri) = (H ~ pI) (H ~ pl). 
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7.6 “不 变 子 空间 计算 


一 旦 实 Schur 分 解 QI4Q =T 已 算出 , 几 个 重要 的 不 变 子 空间 问题 就 能 解决 . 
本 节 我 们 讨论 下 列 问题 : 

e 计算 与 NA) 的 某 个 子 集 所 对 应 的 特征 向 量 ; 

e 计算 给 定 不 变 子 空间 的 标准 正 交 基 ; 

e 用 良 态 相似 变换 将 A 块 对 角 化 ; 

e 计算 一 组 特征 向 量 基 (不 管 它们 的 条 件 ); 

e 计算 A 的 相似 Jordan 标准 型 . 
稀疏 矩阵 的 特征 向 量 和 不 变 子 空间 的 计算 在 别处 讨论 . 参看 7.3 节 以 及 第 8 AAR 
9 章 的 部 分 内 容 . 
7.6.1 ”由 逆 和 迭代 计算 选 定 的 特征 向 量 

令 qO e Cn 是 给 定 的 单位 2 范 数 向 量 并 设 A — pl eR” 非 奇 异 . 下 面 算法 
Hola BR: 

for k=1,2,---: 

RR (A — uD)z(9 = gk) 


q(9 = 2) /\[zF lla (7.6.1) 
AG = qT Ag) 
end 
HARREMA (A -uD ERRA. 
为 了 分 析 (7.6.1) 的 表现 , 设 A 有 一 组 特征 向 量 基 {zx1,… ,zn} 且 对 i=1: 
n, Ax; = Aix. 如 果 


则 qUO. 是 单位 向 量 , 其 方向 为 


A— Iy* (0) — Bi Tj. 
(A — uI)*q 2 ar 


显然 , 如 果 p 比 其 他 特征 值 更 接近 A, 则 只 要 8; 40, a 在 zx; 方向 的 分 量 就 非 
BE. 
(7.6.1) 的 终止 准则 的 例子 是 只 要 余 量 r®) = (A 一 pg) 满足 
Ir? |. < cull Allo (7.6.2) 


就 终止 , 其 中 c 是 数量 级 为 1 的 常数 . 由 于 
(A+ Ex)q®™ = uq 9, 
其 中 E, = reg, ATA (7.6.2) 使 得 人 和 gt*) ABUT RP 
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WANA QR 算法 一 起 用 : 

e 计算 Hessenberg 分 解 U1 4Uo = H; 

e 应 用 隐 式 双 位 移 Francis 迭代 于 H (7878 Uf E RAE I); 

e 对 每 个 已 求 得 的 特征 值 A, 欲 找 相应 特征 向 量 m, 应 用 (7.6.1), 令 A= H, 

人 二 入 , 产生 一 个 向 量 z, 使 得 Hz pz; 

se 今 工 二 Uoz. 
H 的 逆 迭 代 是 很 经 济 的 , 这 是 因为 : (1) EM Francis 迭代 过 程 中 我 们 不 必 计 算 累 
BRAKER, (2) 只 需 O(n?) 个 flop 就 能 得 到 形 如 五 — AI 的 因子 矩阵 ;(3) 一 般 只 
需 一 次 迭代 就 能 产生 一 个 足够 近似 的 特征 向 量 . 

这 最 后 一 点 也 许 是 道 迁 代 最 有 趣 的 方面 , 且 需 要 作 些 验证 , 因为 如 果 和 是 病态 
AN, 它 可 能 相当 不 精确 . 为 简单 起 见 , 设 和 为 实数 且 令 


H-A- Somo? = UVT 
i=l 
是 H -AI 的 SVD, 从 7.5.6 节 所 讲 过 的 QR 算法 的 伟人 性 质 知 ,存在 一 个 矩阵 
E c RY” 使 得 H+ E- M 奇异 且 | 如 ll ~ uH] "TUB on e uc: H 
I(E — Ar)v,lla © uci, BI v 是 好 的 近似 特征 向 量 . 很 显然 , 如 果 初 始 向 量 O 有 


展 式 
q% = X yiu, 


i=l 


则 z0 = 》 o 就 有 BE o BARAR ER, 如 果 s(A) ~ ues] 小 , 则 


20 在 tn 方向 上 严重 缺少 ,这 解释 了 ( 赁 经 验 ) 为 什么 再 来 一 步 逆 挝 代 不 大 可 能 
产生 更 好 的 近似 特征 向 量 , 当 和 是 病态 的 时 尤为 如 此 . 欲 知 详情 , 请 看 Peters and 


Wilkinson(1979). 
1 1 
A= 
Lu 1] 


Bj 7.6.1 4 
有 特征 值 Xi = 0.999 99 和 A; = 1.000 01, 且 相应 的 特征 向 量 为 zi = (1, 1079], 
za = [1,10- 引 7， 两 个 特征 值 的 条 件数 的 数量 级 均 为 105, 近似 特征 值 4 = 二 14 
4 十 吾 的 特征 值 ， 其 中 
E- | 0 0 | 
—107? 0 


这 样 ， 当 用 10 Bug E AGE ER, p 的 精度 是 用 QR 算法 计算 特征 值 典型 的 精度 . 

如 果 (7.6.1) 中 用 初始 向 量 © = [0, 17, 则 g0 = [1,07 E. || Aq? 一 netlls = 
10-0. a, 再 算 一 步 却 产生 q® = 0,17, 其 中 Aq? — nq] = 1. 此 例 在 
Peters and Wilkinson(1979) 中 讨论 过 . 
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7.6.2 EX Schur 型 中 对 特征 值 进行 排序 
再 次 指出 , SE Schur 分 解 给 出 不 变 子 空间 的 信息 . 如 果 


T Tu Tu | P 
e 49-7-| 0 sd q 

p q 
H ATu)nA(T23) = 2 , BA Q 的 前 p 列 张 成 一 个 与 AT) 相对 应 的 唯一 不 变 
子 空 间 .( 见 7.1.4 5.) 可 惜 , Francis 和 迭代 只 是 给 了 我 们 一 个 在 T E 的 对 角 线 上 特征 
值 随机 出 现 的 实 Schur 4H QL AQ, = Tr. 如 果 我 们 需求 一 个 不 变 子 空间 的 正 交 
基 , 而 相关 特征 值 都 不 在 Tr 的 对 角 线 的 上 部 , 则 会 产生 问题 . 很 明显 , 我 们 需要 一 
种 方法 计算 正 交 和 矩阵 Qp, 使 得 QTpQp 是 特征 值 按 适当 顺序 排列 的 拟 上 三 角形 
矩阵. 

看 看 2 x 2 的 情形 , 我 们 就 能 明白 如 何 实 现 这 一 点 . 设 

Ar tie 
0 As 


BRAN a UE CEU. 注意 T pm = row, 其 中 


115 
z= . 
àÀ2—AÀ 


4 Qp 是 Givens 旋转 变换 , 使 得 QpBz 的 第 二 个 分 量 为 零 . 如 果 Q =QrQn， 则 
(QT AQ)e1 = QBTF(Qpel) = 2QD(Qpe1) = ei 
于 是 QT AQ 一 定 具 有 如 下 形式 : 


QrAQr =Tr= | | , 入 1 天 À2; 


Ag cii 
0 Ài 


假定 在 对 角 线 上 没 遇 到 2 x 2 St, 则 通过 应 用 这 一 技巧 系统 地 互 换 相 邻 特征 值 , 我 
们 就 能 把 ACA) 的 任意 子 集 移 到 的 对 角 线 最 上 面 . 

算法 7.6.1 #RERBE QER, LAPEH T =QTAQ MA) OF 
集 A = {和 1,.… Ap}, 本 算法 计算 一 个 正 交 给 阵 QD 使 得 QDTQD = S 为 上 三 角 
FG HEEL {s1, ,Spp} =A, 4EM- Q 和 工分 别 被 QQp fe S AE. 

while {t11,--- ,tpp} #A 
fork—1:n-—1 
if 如 k&A Hterinti € A 
[c, s] = givens(T(k, k + D, T(ct 1, k-1)- T(k,k)) 


Q* AQ = | 


C S 


risk isken)= | T(k:k+1,k:n) 


7.6 不 变 子 空间 计算 ”327 


| e | 
—s c 


| € 8 
—8 c 
end 


这 算法 需 k(12n) 个 flop, 这 里 k 是 所 需 交换 的 总 次 数 . PIC k BORK (0 — p)p. 
当 工 的 对 角 线 上 有 2x 2 抉 时 , 交换 变 得 稍为 复杂 . 和 欲 知 详情 , 请 看 Ruhe(1970) 
和 Stewart(1976). 当然 , 这 些 交换 技巧 可 用 于 特征 值 排序 ,比方 说 按 模 从 大 到 小 排 
列 . 
通过 进行 实 Schur 分 解 来 计算 不 变 子 空间 是 非常 稳定 的 . 如 果 记 Q = [às 
Gn] 为 所 计算 的 正 交 矩阵 Q, W [Q^ Q — r]|; = u, 且 存 在 矩阵 E 满足 | 如 |。 
ul|Al|e, 使 得 对 i=1:p 有 (A + EF); € span{@i,--- ,Gp}. 


Q(l:n,k:k--1) 2 Q(1:n,k:k-- 1) 


end 


end 


7.6.3 OAL 
4 
Tu Ti Ti, | m 
0 T T 
T= Á [nm (7.6.3) 
0 0 Tog | Na 
nı ng Tia 


是 某 实 Schur 标准 型 QT AQ = T < Rn"xn 的 划分 , 使 得 和 (T11),… ,和 (Tyg) 不 相 
Ar. 由 定理 7.1.6, 存在 矩阵 Y WE YTY = diag(Ti, ,Tgq). WE, 我 们 给 出 
HEY 的 实际 算法 以 及 Y 的 敏感 度 (作为 以 上 划分 的 函数 ) 分 析 . 
将 In = [B1,… E] 5 T 相符 划分 上 且 定义 ;i; e R^*" 如 下 : 
Yi -I,-E;ZijET, i<j, Zy ER™*"™. 
换 句 话说 , 除 Zy 取代 (i, 7) ROLES, Yi; 看 上 去 就 是 单位 矩阵. 由 此 推出 , 如 果 
Yz TY =T = (Ti), UT AT RS 
Tig -TüZi — ZüTj; + Tij, 
Tip =Tik— ZiT. (k=j+1:q), 
Trj = TmZi + Try (k=1:i-1). 
之 外 都 是 一 样 的 , 这 样 , 只 要 我 们 有 算法 可 求解 Sylvester 272 
FZ-ZG=C, (7.6.4) 


其 中 F eR? G eR” 是 给 定 的 拟 上 三 角形 矩阵 ,Ce R?x", WT; 能 被 化 为 零 
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Bartels and Stewart(1972) 设计 了 能 决 此 问题 之 方法 . 4 C = [cl coc] 和 
Z = [zl coz] 按 列 划分 . WR geri, = 0, 则 通过 比较 (7.6.4) 中 的 列 我 们 有 


k 
Fzxk 一 > gikZi = Ck. 


i=1 


这 样 , 一 旦 我 们 知道 z],… 20-1, 就 可 解 拟 三 角形 方程 组 
hl 
(F — giI)zk = ck +} gikzi 


i=1 


得 到 zi. 如 果 gk+tk A 0, 则 通过 解 2p x 2p WHA 


F—gul —&mel Zk Ck &3 | gizi 
—gkm? F — gmml | | Zm | i | Cm | (M | Sim Zi | (7.65) 
同时 求 得 zi 和 zk+l 上 式 中 m — ktl 按照 排列 (1,p 十 1,2,p 十 2,… ,p,27) 重 
组 这 些 方程 , 就 可 获得 一 个 用 O(p?) 个 flop 就 可 求解 的 带 状 方程 组 . 可 在 Bartels 
and Stewart(1972) 中 找到 具体 细节 . UFE FAG 均 为 三 角形 矩阵 时 完整 的 
算法 过 程 . 
算法 7.6.2(Bartels-Stewart 算法 ) ”给 定 C c R?*", LE ABM F c RP 
fo G eR"x", 满足 和 (F) 中 和 (G) = o, 本 算法 用 方程 FZ 一 ZG = C 的 解 禾 盖 C. 
fork=1:r 
C(1:p,k) =C(1:p,k) -C(1:p,1:k — 1)G(1: k - 1,k) 
从 (F — G(k,k)I)z = C(1: p, k)E dz 
C(l:p,k)-—z 
end 
此 算法 需要 pr(p +r) 个 flop. 
Xt T 的 严格 上 三 角 抉 (super diagonal block) 按 适 当 的 顺序 化 为 零 , 整个 矩阵 
就 能 约 化 为 分 块 对 角 型 . 
算法 7.6.3 ”给 定 一 个 正 交 矩阵 Q ER”, -ARLE APEE T = Q' AQ, 
BA (7.6.3) 的 分 块 , 下 面 的 算法 用 QY AQ, 其 中 了 TY = diag(Tait c Ta). 
for j—2:q 
fori=1:j-1 
用 算法 7.6.2 TaZ — ZT jj = 一 Ty 求 出 2 
for k=j+1:q 
Tik = Tik — ZT jx 


end 
for k=1:4 
Qxj = hiZ + Qkj 
end 
end 


end 
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该 方法 所 需 的 flop 数 是 (7.6.3) 中 分 块 尺寸 的 较为 复杂 的 函数 . 
SE Schur 型 T 及 其 在 (7.6.3) 中 划分 的 选择 , 决定 了 在 算法 7.6.3 中 必须 求解 
的 Sylvester 方程 的 灵敏 性 ， 这 就 影响 矩阵 Y 的 条 件数 和 分 块 对 角 化 的 整个 有 效 
性 . 有 这 些 依赖 关系 的 原因 是 方程 
Taz 一 ZT;j = —lij (7.6.6) 
的 计算 解 多 的 相对 误差 满足 
IZ - Zir zu Tile 
Zile sep(Tu, T;) 
欲 知 详情 , 请 看 Golub, Nash and Van Loan(1979). 因为 
LOST lt < mins IA — ul, 
BexXQT jj) 
PURE ACD) 没 被 足够 分 离 , 精度 就 可 能 严重 损失 . 如 2 满足 (7.6.6), 则 
[Tulle 
sep(Tu, Tjj) 
这 样 , 如 果 sep(T', Tjj) 小 , 那么 大 范 数 解 将 是 意料 之 中 的 . 这 就 使 得 在 算法 7.6.3 中 
矩阵 Y 变 成 病态 , 因为 Y 是 矩阵 Yy = | o ; | 之 积 . 注意 ; ee(Ya) = 
2n-||Z|l7-- 
针对 这 些 困难 , Bavely and Stewart(1979) 提出 了 一 个 分 块 对 角 化 的 算法 , 它 动 


态 地 决定 (7.6.3) 中 的 特征 值 顺序 和 分 块 , 使 得 算法 7.6.3 中 所 有 Z SERE ERR 
超过 用 户 给 定 的 容 限 . 他 们 发 现 通过 控制 Yi 的 条 件数 可 以 控制 Y 的 条 件数 . 


7.6.4 ”特征 向 量 基 


如 果 划 分 (7.6.3) 中 的 每 一 块 都 是 1 x 1 块 , 则 算法 7.6.3 产生 一 组 特征 向 量 基 . 
SG WUE ARE PE, 计算 出 的 特征 值 和 特征 向 量 对 正好 相对 某 一 “邻近 ” 和 矩阵 是 精确 
的 . 广泛 采用 以 下 规则 来 确定 适当 的 特征 向 量 方法 : 每 当 想 要 的 特征 向 量 少 于 25% 


sep(Tu, Tjj) = min 


liZlle < 


时 , BRE RISO 
但 是 , 我 们 需 指出 实 Schur 型 也 可 用 来 计算 指定 的 特征 向 量 . 设 
Ti u Tiu k-1 
QTAQ =| 0 A «T 1 
0 0 Ta n—k 
k-11 n-k 


是 上 拟 三 角形 矩阵 且 入 g ACTai)UACDas). 由 此 可 见 , 如 果 我 们 解 线性 方程 组 (Tu — 
Mjw = —u 和 (Tas — M)Tz = —v, 则 
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0 
1 


Z 


t=QJ| 1 


0 


My=Q 


是 相应 的 右 特征 向 量 和 左 特 征 向 量 . 注意 : 和 的 条 件数 为 
1/s(A) = 4/ (1+ wl w)(1+ 272). 
7.6.5 ”确定 Jordan 块 结构 


设 我 们 已 求 出 实 Schur 分 解 A = QTQT, 已 确定 了 “相等 " 特征 值 的 组 且 计 算 
了 相应 的 块 对 角 化 工 = Ydiag(T1,---,Tq)¥*. 正如 我 们 已 讨论 的 , 这 是 一 个 艰 
巨 的 任务 . 然而 , 如 果 我 们 试图 去 确定 每 个 Tu 的 Jordan RAW, 就 会 碰 到 更 大 的 
数值 问题 . 简要 考察 这 些 难点 是 为 了 说 明 Jordan 分 解 的 局 限 性 . 

为 清楚 起 见 , 设 ACTU) 为 实数 . 约 化 Ty 为 Jordan 型 , 先 用 形 如 C = AEN 
的 矩阵 来 代替 Tu, 其 中 N 是 Tu 的 严格 上 三 角 部 分 , 和 为 其 特征 值 的 平均 值 . 

回想 到 Jordan 块 J(A) 的 维 数 是 使 [J(A) — AT] = 0 的 最 小 非 负 整数 . 这 样 ， 
如 果 p; = dim[null(N*)], à = 0 : n, Jl p; — pii: SF C 中 维 数 大 于 或 等 于 i 的 
Jordan 块 的 数目 . 一 个 具体 例子 有 助 于 弄 清 楚 这 一 断言 和 说 明 SVD 在 Jordan 型 
计算 中 的 作用 . 

WCJjkTxT5BEE. 假设 我 们 计算 SVD 为 UINV, = D, 且 “ 发 现 ” 的 秩 
为 3. 如 果 我 们 将 奇异 值 按 从 小 到 大 排列 , 则 可 得 出 矩阵 Ni = VINV; 形 如 


4 


于 是 , 和 的 几何 重 数 为 4, BE C 的 Jordan 型 有 4 ER (pı — po = 4-0 = 4). 
现在 设 Ü, LV, = D ELH SVD 且 我 们 发 现 工 的 秩 为 1. 若 我 们 又 一 次 将 
奇异 值 按 从 小 到 大 排 , 则 Ls = V; LV. 很 明显 有 如 下 结构 : 


然而 A(L2) = A(L) = {0,0,0}, 这 样 c = 0. 所 以 , 如 果 
Vs = diag(74， V2), 


则 N = VIN: V: 具有 形式 : 
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0000 x x x 
0000 x x x 
0 000 x x x 
N,-|0000 x x x 
00000 0 a 
00000 0 b 
00000 0 0 


除了 允许 我 们 在 上 三 角 块 产生 更 多 零 外 , 工 的 SVD 也 使 我 们 能 推出 N 的 零 空间 


维 数 . 由 于 
o KL| [o 下 116 Kk 
0 r| lor 0 L|’ 


a | t | 是 列 满 秩 的 ， 


pa = dim(null(N?)) = dim(null(N2)) = 4 + dim(null(Z)) = pı + 2. 
这 样 , 到 此 我 们 能 断定 C 的 Jordan 型 至 少 有 两 个 维 数 大 于 或 等 于 2 的 块 . 
最 后 , 容易 看 出 NT = 0, 由 此 可 推 得 有 ps 一 po = 了 -6= 1 个 维 数 大 于 或 等 于 
3 的 块 . 车 我 们 定义 V = VV, 则 可 得 分 解 


4 块 阶 为 1 或 更 大 
VTcv = 
2 抉 阶 为 2 或 更 大 
0 } 1 块 阶 为 3 或 更 大 


“显示 ”C 的 Jordan 块 结构 : 2 块 阶 为 1, t RHA 2,1 块 阶 为 3. 

计算 Jordan 分 解 必 须 求助 非 正 交 变换 . 关于 这 类 约 化 , 我 们 建议 参考 Golub 
and Wilkinson(1976) 或 Kágstróm and Ruhe(1980a,1980b). 

上 面 SVD 的 计算 充分 显示 了 每 步 都 要 困难 地 决定 秩 以 及 最 后 计算 出 来 块 结构 
严重 依赖 于 那些 决定 . 侥幸 的 是 , 在 实际 应 用 中 几乎 总 是 能 用 稳定 的 Schur 分 解 来 
代替 Jordan 分 解 . 


oO o o o aow 
oo o 0-0 
O a oo o» OO 
aoor,rdcand 
OX X x x 
CO» X X X x x 
oe X X X X 


> 


0 


习 题 
7.6.1 ” 试 给 出 一 算法 用 来 解决 一 个 实 的 nxn 上 拟 三 角形 方程 组 Te = b. 


332 € "X 非 对 称 特 征 值 问 题 


7.6.2 设 U-1AU = diag(ou,---,am) H V^ BV = diag(fi,--- ,Bn), ŒH: 车 
$(X) = AX + XB, Wl A(¢) = (o Bj :i—1:m,j —1:n). A, 相应 的 特征 向 量 是 什 
4? 如 何 用 这 些 分 解 来 求解 AX + XB=C? 


7.6.3 WHE Y = | à f | 则 &3(Y) = [2 + 0? + /4c? + 03)/2, 其 中 o = |Z]|z. 


7.6.4 SHH (7.6.5) XX. 
7.6.5 WE Tcm""" 是 分 块 上 三 角形 矩阵 ， 其 划分 如 下 : 
Ti Ti Tis 
O To Tz 
0 0 Ts 


假定 对 角 块 To 是 2 x 2 的 , 其 特征 值 是 复数 且 与 A(T) 和 AT) 不 相交 , 试 给 出 计算 与 
Too 的 特征 值 所 对 应 的 2 维 实 的 不 变 子 空间 的 算法 . 

7.6.6 ”假设 H cR” 是 具有 复 特征 值 + iw 的 上 Hessenberg SM, RABAT 
来 计算 x, y € R” 使 得 H(z 十 iy) =(Atip(ctiy)? 提示 : 比较 等 式 中 实 部 和 复 部 , 就 得 
到 一 个 2n x 2n 实 方程 组 . 

7.6.7 (a) 证 明 : 如 果 uo EC 有 非 零 实 部 , UAR 


=} (m+ +) 
Hk+ = 5 Hk m 


在 Re(uo) > 0 BICIS 1, 在 Re(uo) < 0 时 收敛 到 —1. 
(b) & A e C"*^ 是 可 对 角 化 , B 


asx 7 0 pe 
0 D. 


T= , Tem", 


其 中 D, e Cr?*?,D_ e CPX?) Ay SV ee TE REE GE SETTE EOP TEE REONE FEE 
Bk. 证 明 迭 代 i 
Anyi = 3 (Ae + A,"), Ao=A 


收敛 到 sign(A) = X | T PE | x. 


(c) 设 M = | Mn Mu | P 具有 性 质 : 和 (M11) 在 右 半 开 平面 且 ACM 22) 在 
0 M22 n-p 
p n-p 
左 半 开平 面 . 证 明 : 
sign(M) = | "oL | , 
n—p 


H —Z/2 是 MaX ~-XM22 = 一 M12 的 解 . 这 样 ， 


_ M 0 
u=|% 7^ | uu =| H | 
0 Mz 


0 IL 
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7.7 Az = 二 和 Bz 的 QZ AK 


令 A 和 B RW nxn Sh. 所 有 形 如 A—-AB (e C) 的 矩阵 的 集合 称 
AR. 束 的 特征 值 是 集 ACA, B) 的 元 素 , 定义 为 : 
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(A, B) = {z € C: det(A — zB) = 0). 
如 果 入 e (A,B), E 
Az=ABz, «#9, (7.7.1) 

WR z 为 AAB 的 特征 向 量 . 

本 节 简 要 地 综述 广义 特征 问题 (7.7.1) 的 某 些 数学 性 质 , 并 为 解决 这 个 问题 提 
供 一 个 稳定 的 方法 . 在 8.7.2 节 中 讨论 4 和 B 都 是 对 称 和 矩阵 且 后 者 正定 的 重要 情 
形 . 
7.7.1 基本 知识 


观察 广义 特征 值 问题 的 第 一 件 事 是 : 当 且 仅 当 rank(B) = n 时 它 存 在 n 个 特 
征 值 . 如 果 B 为 秩 亏 损 阵 , 则 ACA, B) 可 能 是 有 限 集 、 空 集 或 无 限 集 . 


4-| j| 2-|i [meo 
4-| || a =|) [xA mee 


4-| || -| : [Ame 


注意 到 , 若 0 4 A € A(A, B), 则 (1/2) € A(B, A), 此 外 , 如 果 B AAEM, 则 
\(A, B) = (B^! A,I) = (B^ 1A). 

上 面 的 观察 为 B 非 奇异 时 , 提供 了 一 个 解 4 — AB. 问题 的 方法 : 

e f& BC — A Xi C, 比方 说 可 用 列 选 主 的 高 斯 消去 法 ; 

se 用 QR 算法 计算 C 的 特征 值 . 
注意 , C 将 受到 数量 级 为 uA Bh 的 含 入 误差 之 影响 . 如 果 B 是 病态 的 , 则 
这 就 排除 了 精确 地 计算 任何 一 个 广义 特征 值 的 可 能 性 — — 包括 被 认为 是 良 态 的 特 
征 值 . 

例 7.7.1 dX 

- | 1.746 0.940 | B- | 0.780 0.563 | 
1.246 1.898 |’ 0.913 0.659 |’ 


则 (A, B) = {2,1.07x 108}. 用 7 位 浮 点 运算 , AM A(FL(AB 7) = {1.562 539, 1.01 x 
105}, 小 特征 值 精度 很 差 的 原因 是 Ra (B) 2 x 10°. 另 一 方面 , 我们 发 现 
AL, fl(A~*B)) e (2.000 001, 1.06 x 10%}. 
由 于 ka(4) © 4, 小 特征 值 的 精度 被 改善 了 . 
这 个 例子 提醒 我 们 去 寻找 其 他 解 4 ~ AB 问题 的 方法 . 一 个 想法 是 选取 良 态 
矩阵 Q 和 Z 使 得 矩阵 
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Ai =Q TAZ, Bi =Q "BZ (7.7.2) 
都 是 标准 型 . 注意 到 , 从 
Az —ABz +> Ay = ABiy, w= Zy, 


可 知 A(A, B) = A(Ai, Bi). 如 果 (7.7.2) RLE Q 和 Z 非 奇 异 , 我 们 就 说 两 个 束 
AA--AB 和 A! 一 和 Bi 等 价 . 


7.7.2 JS Schur 分 解 


与 标准 特征 问题 A — AI 一 样 , 在 标准 型 当中 要 有 选择 . 5 Jordan 型 类 似 的 是 
Kronecher 的 分 解 , 在 此 分 解 中 A 和 Bi 都 是 块 对 角 的 . 这 些 块 相似 于 Jordan 块 . 
Kronecher 标准 型 面临 和 Jordan 型 同样 的 数值 困难 . 然而 , 这 个 分 解 的 确 能 揭露 束 
A — AB 的 数学 性 质 . 详 见 Wilkinson(1978) 和 Demmel and Kagstrém(1987). 

从 数值 观点 来 看 , 更 吸引 人 的 是 由 Moler and Stewert(1973) 描述 的 下 列 分 解 . 

定理 7.7.1( 广 义 Schur 分 解 ) 如 果 A,B Eer, WA BHR Qe Z 4 
得 QU AZ = THQ"BZ — S X E fX AERE. BHR? k, ten 和 skk MAS, RU 
MA, B) = C, 否则 
A(A, B) = (tá/sá : Siji 天 0}. 

TERR} {Bk} ERAF B 的 一 列 非 奇异 矩阵 . 对 每 个 k, 令 QUAB )Q, = 
Ry, 为 AB, 的 Schur 分 解 . & Z, 是 使 ZE (By Q) = Sp 为 上 三 角形 算 阵 的 西 
矩阵 . 由 此 可 见 , QIAZ, = RS, 和 QRB6Zh 都 是 上 三 角形 矩阵 ， 

运用 Bolzano-Weierstrass 定理 ， 我 们 知道 有 界 序列 {(Q@;, 2x)} 有 收敛 子 列 ， 
lim(Q,,, Zi) = (Q, Z). HE Q 和 Z BAER QAZ 和 QUBZ 都 是 上 三 角 
形 矩 阵 . 从 等 式 . 

det(A — AB) = det(QZ") J [ta — Asii) 
i=1 
即 得 到 关于 ACA, B) 的 断言 . 口 

E ALB 是 实 和 矩阵 , 则 对 应 实 Schur 分 解 (定理 7.4.1) 的 下 列 分 解 是 重要 的 : 

定理 7.7.2( 推 广 的 实 Schur 分 解 ) wR A fo BAR T ASEM, 则 存在 
ERE QQ 和 了 使 得 QTAZ AWLZAVERE Q BZ 是 上 三 角形 矩阵， 

WA 参看 Stewart(1972). 口 

在 本 节 其 余部 分 , 我 们 考虑 此 分 解 的 计算 和 它 的 数学 内 涵 . 

7.7.3 CRE 

广义 Schur 分 解 阐明 了 A—AB 问题 的 特征 值 敏感 性 . 很 明显 , 如 果 si 很 小 , A 
和 B 的 微小 变化 能 够 导致 特征 值 和 i = tis/si 较 大 的 变化 . 然而 , 如 Stewart(1978) 
所 说 , 认为 这 样 的 特征 值 是 “病态 的 ” 是 不 恰当 的 . 理由 在 于 其 倒数 u = sii/tii 可 
能 是 束 uA — B. 的 性 质 很 好 的 特征 值 . 在 Stewert 的 分 析 中 , A Al B 被 平等 看 待 旦 
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特征 值 看 成 有 序 对 (tu, sa) 而 不 是 商 . 按 此 观点 , MERA AER BREA 
动 , SX E chord(a, b) 定义 为 


ja — b| 


VI +a vi +b 


Stewart 证 明了 若 是 A — AB. 的 单 特征 值 且 Xe 是 相应 扰动 束 人 -AB 的 特征 
值 , 这 里 ||A — A |o ~ ||B — Bila we, JU 


chord(a, b) = 


chord(A, Ae) < + O(e?), 


€ 
(yi Az)? + (yf Ba)? 
其 中 xz My 都 是 2 范 数 单位 向 量 , 满足 hz = ABr 和 y! = MyHB. 注意 到 , 上 界 
中 的 分 母 关于 A,B 是 对 称 的 . “真正 ”的 病态 特征 值 是 那些 使 得 该 分 母 很 小 的 特 
征 值 . 
对 某 个 k, ter = sex = 0 的 极端 情形 已 被 Wiklinson(1979) 所 研究 . 他 有 一 个 有 
趣 的 观察 , 当 此 情形 发 生 时 , FN 14/54 可 假定 为 任何 值 . 


7.7.4 Hessenberg 三 角 型 


计算 矩阵 对 (A, B) 的 广义 Schur 分 解 的 第 一 步 是 通过 正 交 变换 化 A 为 上 
Hessenberg 型 , 化 B 为 上 三 角 型 . RIBARE -TEZER U, 使 得 UT B 是 上 
三 角形 和 矩阵. 当然 , 为 保持 特征 值 不 变 , 我 们 也 必须 用 同一 正 交 和 矩阵 作用 于 A. 让 
我 们 看 看 n= 5 时 的 情况 . 


X X X X X X X X X X 
X X X X X 0 x x x x 
A=U'A=|x x x x x], B UTB=| 0 0 x x x 
X X X X X 0 0 0 x x 
X X X X X 0 0 0 0 x 


接着 , 我 们 在 保持 B 为 上 三 角 型 时 , 化 A 为 上 Hessenberg 型 , 首先 , 用 Givens it 
转变 换 Qu 消 Q51 为 零 : 


X X x X X X X X X X 

X X X X X 0 x x x X 
A-QLA-|x x x x x|, B=QĘB=|0 0 x x x 
X X X X X 0 0 0 x x 

0 x x x x 0 0 0 x x 
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E B 'P (5,4) 位 置 产生 的 非 零 元 素 能 通过 右 乘 适当 的 Givens 旋转 Z4s HAS: 


X X X X X X X X X x 

X x X X X 0 x x x x 

A-—AZas—|!x x x x x |, B=BZ5,=); 0 0 x x x 

X X X X X 0 0 0 x x 

0 x x x x 0 0 0 0 x 

类 似 地 , 可 将 4 的 (4.1) 元 和 (3,1) Zu AL: 

X x X X X X X X X X 

X X x X X 0 x x x x 
A-QLA-|x x x x x |, B-QLB—-|0 0 x x x |, 

Ü X X X X 0 0 x x x 

0 x X x x 0 0 0 0 x 

X X X X X X X X X X 

X X X X X 0 x x x x 
A-—AZg-—|x x x x x |, B—-BZa-2|0 0 x x x |， 

Ü x x x x 0 0 0 x x 

0 x x x X 0 0 0 0 x 

X X X X X X X X X Xx 

X X X X X 0 x x x x 
A-QLA-|0 x x x x], B-QLB-|0 x x x x |, 

0 x x x x 0 0 0 x x 

0 x x x x 0 0 0 0 x 

X X X X X X X X X X 

X X X X X 0 x x X X 

A=AZ3=)0 x x x x |, B-BZxa-—-|0 0x x x 

0 x x x x 0 0 0 x x 

0 x x x xX 0 0 0 0 x 


A 的 第 一 列 已 是 上 Hessenberg 型 . 将 ase, as2 和 ass 消 为 零 , 此 约 化 则 完成 . 很 明 
显 , 要 将 每 个 aij LAS, 需要 两 个 正 交 变换 一 个 用 于 化 零 , 另 一 个 用 于 恢复 
B 的 三 角形 式 . 用 Givens 旋转 或 2 x 2 修正 的 Householder 变换 均 可 . 总 之 , 我 们 
有 下 列 算法 . 

算法 7.7.1 (Hessenberg 三 角形 约 化 ) $ Af Bem", 本 算法 计算 上 
Hessenberg 矩阵 QU AZ 4e Ez ABE Q’BZ HAAA AEH A 和 B, 其 中 
Q fa Z AER. 
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用 算法 5.2.1, 计算 QTB-R XR É B, 其 中 @ 是 正 交 矩阵 且 
RALAABHE. 
A-Q'A 
for j=1:n-—2 
fori=n:-1:j4+2 
[c, s] = givens(A(i 一 1, AGI) 
Ali—1:i,j:n) = | 7 


‘| A(i —1:4j:m) 
—6 € 


T 
Bü-riicid-| ^ ‘| B(ü—1:ii—1:n) 
—8 C 


[c, s] = givens(—B(i, i), B(i, i — 1)) 


Bü:i-i:)-Bü:Gi-i1:)| ^ ^ 
—8 C 

Aimi: aiiis) 7 ‘| 
一 C 


end 
end 
此 算法 需 8n3 个 flop. 要 把 Q, Z 累积 算出 来 还 分 别 需要 4n? 个 flop 和 3n? 个 flop. 
化 A 一 AB Hessenberg 三 角 型 可 用 作 一 种 广义 的 QR 迭代 , 即 下 节 要 介绍 
的 称 为 QZ eR “BURR” 分 解 . 


例 7.7.2 设 
101 2 1 2 3 
A= 1 2 -1 |, B=;4 5 6 
11 2 789 


HEZE Q fe ZAA 
—0.1231 —0.9917 0.0378 
Q= | —0.4924 0.0279 ~0.8699 
—0.8616 0.1257 0.4917 


1.0000 0.0000 0.0000 
Z= | 0.0000 —0.8944 —0.4472 |, 
0.0000 0.4472 —0.8944 
则 A, = QTAZ E B1 - QT BZ 为 
—2.5849 1.5413 2.4221 


A; =} —9.7631 0.0874 1.9239 |, 
0.0000 2.7233 --0.7612 
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—8.1240 3.6332 14.2024 
Bı = 0.0000 0.0000 1.8739 
0.0000 0.0000 0.7612 


7.7.5 B&R 


不 失 一 般 性 , 在 描述 QZ BRIN, 我 们 可 以 假定 A 是 不 可 约 上 Hessenberg 4E 
EE, B 为 非 奇异 上 三 角形 矩阵 . 第 一 个 要 求 显然 合理 , 因为 车 aki = 0, DUI 
Anı —àBıı Aiz2—ABiz2 k 

0 A22 — AB22 n-—k 

k nk 
从 而 我 们 只 需求 解 两 个 较 小 的 问题 A 一 Bil 和 Az- ABaz. 另 一 方面 , 若 对 某 
个 有 bik — 0, 则 可 把 A 的 (n,n 一 1) 位置 的 元 素 化 为 零 , 然后 降 阶 , 下 面 举 列 说 
Bj, 设 n= 5,k=3: 


A-AB- 


X X X X X X X X X X 
X X X X X 0 x x x x 
A=| 0 x x x x], B=|.|0 0 0 x x 
0 0 x x x 0 0 0 x x 
0 0 0 x x 0.00 0 x 


| 


用 Givens 旋转 可 以 把 B 对 角 线 上 的 零 “ 往 下 推 ” 到 (5,5) 位 置 . 


x x x x x x x x x X 
x x X x X 0 x x x x 
A-QLA-|0 x x x x |, B-QLB-|0 00 xxl, 
0 x x x x 0 0 0 0 x 
0 0 0 x x 0 0 0 0 x 
x x x x x x x x x x 
X x X X X 0 x x x x 
A=AZz3 =] 0 x x x x |, B=BZ3=|0 0 0 x x |， 
0 0 x x x 0 0 0 0 x 
0 0 0 x x 0 0 0 0 x 
X X X x X X X X X X 
X x X X X 0 x x X x 
A-QLA-|0 x x x x], B-QLB- 0 0 0 x x |, 
0 0 x x x 0 0 0 0 x 
0 0 x x x 0.000 0 
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x X X X x X X X X X 
X X X X X 0 x x x x 

A=AZy%=|0 x x x x |, B-BZl—.0 0 x x x1], 
Q 0 x x x 0 0 0 0 x 
0 0 0 x x 0 0 0 0 0 
x x x x x x x x x x 
x x x x x 0 x x x x 

A-AZa—-|O0 x x x x B-BZa-|0 0 x x x 
0 0 x x x 0 0 0 x x 
0 0 0 0 x 0 0 0 0 0 


这 个 零 追 逐 技巧 完全 是 通用 的 , 不 论 零 出 现在 B 的 对 角 线 什么 位 置 , 均 可 将 anni 
化 为 零 . 


7.7.6 QZ 步 


现在 , 我 们 来 描述 QZ 步 . 其 基本 思想 是 把 A, B 作 如 下 的 变换 : 
(A — AB) - Q'(A - AB)Z, 

其 中 A 是 上 Hessenberg 24%, B 是 上 三 角形 和 矩阵, Q 和 Z JJAIEAABEE, H 
A B Jf E? AH Francis QR 2b (算法 7.5.2) 应 用 于 AB 所 产生 的 矩阵 是 同 
一 个 矩阵 . 我 们 用 若干 巧妙 的 零 追 逐 技术 以 及 求助 于 隐 式 Q 定理 可 以 做 到 这 一 点 . 

4 M = AB-1( 上 Hessenberg 型 ) HS v 是 矩阵 (M 一 aT)(M — bI) 的 第 一 
列 , 其 中 a f b 是 M WA PA 2 x 2 子 和 矩阵 的 特征 值 . 注意 , 可 用 O(1) 个 flop 计 
算出 o. 车 Po 是 使 Pov 为 ei 之 倍数 的 Householder FER, 则 


x x x X x X x x x x x x 
x x x x x x x x x x x x 
x x x x x x x x x x x x 

= P A = B = PoB = 
A oA 0 0 x x x x , ° 0 0 0 x x x 
0 0 0 x x x 0 0 0 0 x x 
0 0 0 0 x x 0 0 0 0 0 x 


现在 的 思路 是 通过 往 下 赶 对 角 线 之 下 多 余 的 非 零 元 来 把 这 两 个 矩阵 分 别 恢复 到 Hes- 
senberg 三 角 型 . 
为 此 , 先 确定 一 对 Householder 矩阵 Zi 和 Z2 将 bai, b32 和 bar WAF: 
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X x X X X X 
X X X X X X 
A-AZigg- | X XXXI 
X X X X X X 
0 0 0 x x x 
0 0 0 0 x x 
X X X X X X 
0 x x x x x 
0 
B=BZ,Z,-\° X X X x 
0 0 0 x x x 
0 0 0 0 x x 
0 0 0 0 0 x 
然后 , 用 Householder 矩阵 Pj 将 ası 和 a4; WAF: 
x x x x x x x x X x x X 
x x x x x x 0 x x x X X 
0 
A=P,A= x x x x X| BL.PBB- 0 x x Xx x x 
0 x x x x x 0 x x x X X 
0 0 0 x x x 0 0 0 0 x x 
0 0 0 0 x x 0 0 0 0 0 x 


注意 到 , 至 此 , 不 想 要 的 非 零 元 已 从 它们 的 原来 位 置 向 右 下 方 移动 . 这 描述 QZ 5E 
法 的 一 个 典型 步骤 .注意 到 Q = QoQ1… Qn 和 Qo 有 相同 的 第 一 列 ， 根 据 
初始 Householder 和 矩阵 的 确定 方式 ， 我 们 可 以 利用 隐 式 Q 定理 , 断言 AB = 
Q'(AB-')Q 的 确 “本质 上 ”与 直接 将 Francis 迭代 用 于 M = AB Pre BIKE 
阵 是 同一 矩阵 . 总 之 我 们 有 下 列 算 法 . 
算法 7.7.2(QZ 步 ) ”给 定 不 可 约 上 Hessenberg HH A € R?*? 和 非 奇 异 上 
三 角形 矩阵 BCR", 本 算法 用 Hessenberg HM QT AZ 和 上 三 角形 矩阵 QT BZ 
分 别 履 盖 A fe B, 其 中 QHZ ALR, 而 且 Q@ 与 应 用 于 AB 2H 7.5.1 
的 正 交 相 似 变换 矩阵 有 相同 的 第 1 列 . 
AM = AB™!, 计算 (M —al)(M -bI)e = (2,y,2,0,... ,0)T, 
其 中 aa 和 为 朵 的 右 下 角 2x2 的 主子 短 阵 的 特征 值 
fork —1:n—2 
R Householder 42H Q, 使 得 Qklz y z]T = [« 00)". 
A = diag (Ip—1, Qk, In-k-2)A 
B= diag(Iy 1, Qk, In-k-2)B 
找 Householder #2 Zhi 使 得 
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[Bgr2on b+2p+L bk+2,k+2]Zr = [0 0 «]. 
A = A diag(Ik—1, Zi, In-k-2) 
B = B diag(I 3, Ze, In -k-2) 
4% Householder #2 Z5 使 

[bette bktikt1]Zr2 = [0 +] 
A= A diag(Ix 4, Zx2, In—k-1) 
B = B diag(Ik—-1, Zk2, In-k-1) 
T = Qk+1,kj Y = Qk+1,k 
ifk«n-—2 

Z = Gk4+3,k 

end 


end 


找 Householder #2 Q,., 使 得 Q, 4 | T | = | o | 
y 


A = diag(In-2,Qn_1)A 
B = diag(In-2,Q,-1)B 
38, Householder 4# Zn-ı 使 得 
[bci bnn] Zn- = (0 >] 
A= Adiag(In-2, Zn—1) 
B = Bdiag(In_2, Zn-1) 
这 个 算法 需 22n2 个 flop. 累积 Q 和 2 分 别 需 额外 的 8n? 个 flop 和 13n? 个 flop. 


7.7.7 ”完整 QZ 过 程 


把 一 系列 QZ 步 应 用 到 Hessenberg 三 角形 束 A — AB, 就 能 将 A 化 为 氛 三 角 
型 . 在 运算 中 , 有 必要 监视 4 的 次 对 角 元 和 B 的 对 角 元 , 若 有 可 能 就 进行 解 耦 . 完 
整 的 过 程 (由 Moler and Stewart(1973) 提出 ) 如 下 . 
算法 7.7.3 AR AER”, BER” , APEUTRERBE Q HZ 使 得 
Q'AZ-T A LWZ APEH Q’BZ=S 是 上 三 角形 矩阵 . 了 徐 盖 4,S RS 
B. 
用 算法 7.7.1 计算 Q" AZ(. E. Hessenberg #4) AS A 
fo Q°BZ 覆盖 B( Ez ABER) 
until q=n 
令 所 有 满足 


[ai i-1l S e(Jai- i-i] + lasil) 


的 次 对 角 元 素 为 零 . 找到 最 大 非 负 值 9 和 最 小 非 负 值 p 使 得 如 果 
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p n—p-qd q 
则 Ass 是 上 拟 三 角形 矩阵 且 A22 不 可 约 化 为 Hessenberg #2. 
de B 适当 分 划 如 下 : 


By Bie Bis p 
B= 0 B22 Bog | n—p—g 
0 0 B33 q 


if q«n 
if Bo 奇异 则 
Qn—gq.n—q-1 AE 
else 


在 Ao 和 Boo 上 用 算法 7.7.2 
A = diag(Ip, Q, Iq)? Adiag(Ip, Z, Iq) 
B = diag(Ip, Q, Iq)? Bdiag(Ip, Z, Iq) 
end 
end 
end 
此 算法 需 30n3 个 flop. # Q 需求 出 , 还 需 额外 的 16? 个 flop. FMB Z 则 还 需 
Wn? 个 flop. 这 些 工 作 量 的 估计 是 基于 每 个 特征 信 约 需 两 个 QZ 迭代 这 个 经 验 . 这 
RE, QZ 迭代 的 收敛 性 质 和 QR 迭代 一 样 . QZ 算法 的 速度 不 受 B 秩 亏 损 的 影响 . 
可 以 证 明 , 计算 得 到 的 S 和 了 满足 : 
QEA+E)Zo=T, Q(B+F)Z0=5, 
这 里 Qo 和 Zo 为 精确 的 正 交 和 矩阵 , 而 || Elle ~ ullAlle E ||Fllz ~ ull Bile. 
例 7.7.3 # QZ 算法 应 用 到 


23 45 6 0-1 -1 -1 -1 
4456 7 0 1 -i -1 ~l 
A=)}0 367 8|,B=]}0 0 1 -1 -~j 
0028 9 00 0 1 -1 
00 0 1 10 00 0 0 1 
则 A 的 次 对 角 元 素 收敛 如 下 
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BR O(|hz1]) O(|haz]) O(|haa[) O(|haa]) 
1 109 10! 10° 1071 
2 109 109 109 1071 
3 109 101 107! 1073 
4 10° 10° 1071 10-8 
5 100 10! 1071 10-16 
6 10° 10° 1072 收敛 
7 10° 10-1 1071 
8 10! 1071 1078 
9 10° 10-1 10719 

10 10° 107? cs 
11 1071 1074 

12 1072 10711 

13 1073 10-27 

14 收敛 收敛 


7.7.8 ”广义 不 变 子 空间 计算 


7.6 节 中 所 讨论 的 许多 不 变 子 空间 计算 都 可 推广 到 广义 特征 值 问题 , 例如 , 可 
以 由 逆 迭 代 求 近似 特征 向 量 : 

给 定 gf(0) c crn 

for k= 1,2,--- 

& (A — pB)2) = Bg*-) 
标准 化 : q = 209 /|[209 [o 
A) = [g EA /|q |B Aq(9 

end 
* B 为 非 奇异 矩阵 时 , 这 相当 于 将 (7.6.1) 应 用 于 和 矩阵 BA 如 果 p AH QZ E 
法 计算 出 来 的 近似 特征 值 , 一 般 只 需 一 次 迭代 . 通过 对 Hessenberg 三 角形 束 进行 逆 
JER, QZ ERNE RR Z 的 高 代价 可 以 避免 . 

类 似 于 单个 矩阵 不 变 子 空间 的 概念 , 对 束 4 — AB. 也 有 降 阶 子 空间 的 概念 . A 
体 地 说 , 如 果子 空间 {Az + By : x,y € S) 的 维 数 小 于 或 等 于 k, 我 们 就 说 HE 
子 空间 8S C R" WHR A- AB 是 “ 降 阶 " 的 . 注意 , 在 广义 Schur 分 解 中 , SEPP 
Z 的 列 确定 一 族 降 阶 子 空间 , 这 是 因为 如 果 Q = [qa] 2 = [z1,… ;zn], W 
span{ Az1,... , Azx) Cspan {q1,.. ,qx} 和 span{ Bz1,... , Bz} Cspan(qi,::: ,gx}. 
降价 子 空 间 的 性 质 及 其 在 扰动 下 的 特性 由 Stewert(1972) 所 描述 . 


习 题 


TTA 2AM BER” H 


7.7 Az ABz f QZ AB 347 


T _ D 0 r _ _ 
U av =| o "| . U=| U U2 |, v=| v va | 
r n-r r n—r T n-—Tr 
是 B 的 SVD, HF DErxr58lE, r =rank(B). 证 明 : WR A(A, B) =C, N UTAV: 是 
奇异 的 . 
7.7.2 SEX F:R^—R3J 
_1 xz’ BT Az 2 
F(z) = 引 4az ^ STAT Be? ||, 
Kh AM BeR™", 证 明 ; UE VF(z)-0,9 Az 是 Bo 的 倍数 . 
7.7.3 KAM BER ™", SH EHOW AUESABEE Q 和 Z, 使 得 QTAZ 是 上 


Hessenberg ÆRE. ZT BQ 是 上 三 角形 矩阵 . 


7.7.4 Ë 
A= Ai Ar | B= Bu Bi 
0 Az 0 Bz 


其 中 Au Bu c R*** 和 As, B22 € RI, 在 什么 情形 下 存在 


x-[4 Pl r-| vel, 

0 I 0 I; 

AY AX AY BX WARMER? 这 是 一 个 广义 Sylvester 方 程 问题 . 25 An, Aro, 
Bu, Ba 为 上 三 角形 矩阵 时 的 情形 时 , 试 给 出 一 特殊 算法 . 见 Kàgstróm(1994). 

7.7.5 W pg XA, B). 试 给 出 A = (A-uB) ATI Bi = (A—- uB) ! B 的 特征 
值 和 特征 向 量 与 4 -和 AB 的 广义 特征 值 和 特征 向 量 之 关系 . 

7.7.6” 设 A,B,C, D ERY”, WHER EERE Q,Z,U,V, 使 得 Q”AU 是 上 
Hessenberg 秆 阵 和 VTCZ,QTBV 及 VTDZ 均 为 上 三 角形 矩阵 . EMER AC-ABD 
化 为 Hessenberg 三 角 型 .你 的 算法 不 要 显 式 形成 乘积 AC 或 BD, 也 不 用 计算 任何 矩阵 的 
34. 见 Van Loan(1975). 
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有 具有 丰富 数学 结构 的 对 称 特征 值 问 题 是 数值 线性 代数 中 最 漂亮 的 问题 之 一 . 首 
先 我 们 简要 讨论 对 称 矩 阵 的 数学 性 质 , 它们 奠定 了 此 计算 的 基础 . 在 8.2 节 和 8.3 
节 中 我 们 提出 了 多 种 医 迭 代 法 , 最 后 集中 讨论 对 称 QR 算法 . 

在 8.4 节 中 我 们 讨论 Jacobi 方法 , 这 是 文献 中 出 现 最 早 的 和 矩阵 算法 之 一 . 由 于 
易于 并 行 计算 和 在 某 种 条 件 下 具有 高 精度 , 这 种 方法 近来 又 引起 人 们 的 兴趣 . 

在 8.5 节 中 对 三 对 角 情 形 给 出 了 不 同 的 方法 , 包括 二 分 法 和 分 而 治之 技巧 . 

在 8.6 节 中 详 述 怎样 计算 奇异 值 分 解 . 核心 算法 是 对 称 QR 迭代 法 应 用 于 双 
HB RBEEISAEJE. 

在 最 后 一 节 我 们 就 4 AWEWE B 是 对 称 正定 矩阵 时 这 一 重要 情形 讨论 
广义 特征 值 问题 Ax = 和 Bz. 对 这 个 特殊 结构 的 广义 特征 值 问 题 , 没有 适当 的 类 似 
基于 正 交 的 QZ 算法 ( 见 7.7 节 ) 存在 . 然而 , 有 几 个 成 功 的 方法 可 以 用 , 我 们 给 出 
这 些 方法 , 并 讨论 广义 奇异 值 分 解 . 
预备 知识 

阅读 本 章 需要 掌握 第 1 章 , 2.1 节 ~2.5 节 和 2.7 节 , 第 3 章 , 4.1 节 ~4.3 节 , 5.1 
节 ~5.5 节 和 7.1.1 节 的 知识 . 本 章 各 节 间 的 关系 如 下 : 

8.4 节 


sisi 一 8215 一 8.3 节 一 8.615 — 8.7 节 
i 
8.545 
本 章 的 许多 算法 和 理论 与 第 7 章 非 对 称 的 部 分 相对 应 . 然而 , 除了 少量 概念 和 
定义 外 , 我 们 处 理 对 称 矩 阵 的 特征 值 问题 的 方法 在 读 第 7 章 之 前 就 能 学 习 . 
补充 参考 文献 包括 Wilkinson(1965), Stewart(1973), Gourlay and Watson(1973), 
Hager(1988), Chatelin(1993), Parlett(1980), Stewart and Sun(1990), Watkins(1991), 
Jennings and McKeowen(1992) 以 及 Datta(1995)， 对 本 章 很 重要 的 MATLABA Š 
是 schur 和 svd. 与 LAPACK 相关 的 程序 如 下 . 


LAPACK: 对 称 特征 值 问题 
所 有 特征 值 和 特征 向 量 


_SYEVD 同上 但 用 分 而 治之 求 特征 向 量 

_SYEVX 部 分 特征 值 和 特征 向 量 

_SYTRD Householder 三 对 角 化 

_SBTRD Householder 三 对 角 化 ( 带 状 A) 
_SPTRD Householder 三 对 角 化 (A 打包 存储 ) 
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( 续 ) 
LAPACK: 对 称 特征 值 问题 
三 对 角 和 矩阵 的 所 有 特征 值 和 特征 向 量 ( 隐 QR) 


_STEDC 三 对 角 算 阵 的 所 有 特征 值 和 特征 向 量 (分 而 治之 ) 
_STERF SRST AEE (无 求 根 QR) 
_PTEQR EEEN Ae A RE EARE [1 E 


三 对 角 和 矩阵 的 部 分 特征 值 (对 分 法 ) 
三 对 角 和 矩阵 的 部 分 特征 值 (首选 代 ) 


LAPACK: 对 称 正定 特征 值 问题 


_SYGST 将 A — AB 化 为 C ~ Ar 形式 

.PBSTF 43 Cholesky 4H 

 SBGST HAR Cholesky 分 解 将 带 状 A — AB 化 为 C 一 AT 形式 
LAPACK: SVD 


A-UXVT 
SOO AREA SVD 
一 般 和 矩阵 的 双 对 角 化 
产生 正 交 变 换 

带 状 和 矩阵 的 双 对 角 化 


LAPACK: 广义 奇异 值 问题 


_GGSVP Xt ATA- 12BT 昌 化 为 三 角形 ATA; - 2? BT By 
_TGSJA 计算 两 个 三 角形 矩阵 的 GSVD 
8.1 ”性 质 与 分 解 


在 这 一 节 , 我 们 陈述 一 些 所 需 的 数学 知识 , 以 便 提出 和 分 析 对 称 特征 值 算法 . 
8.1.1 ”特征 值 和 特征 向 量 


对 称 性 保证 了 4 的 所 有 特征 值 都 是 实 的 且 有 一 组 由 特征 向 量 组 成 的 正 交 基 . 

定理 8.1.1 (对 称 Schur 分 解 ) 如 果 ACR" 是 对 称 的 , 则 存在 一 个 实 正 
RHEE Q 使 得 

Q" AQ = A = diag(u, , An) 

而 且 , k=1:n, AQC k) 2 AQ, k). REE 7.1.3. 

证 明 WA CNA) Ho € C^ J& 2 范 数 单位 特征 向 量 4z = Xiz， 由 于 
M = zË Az = g” Ax = oF Aa = ja, MA € R. XXE, 可 以 假定 x ER”. $ 
P, c Rnxn 是 一 个 Householder EM, 使 得 Piz = ei = 1,(,1). 由 于 Aw = Xi 
可 知 (PTAPi)el = der. 这 是 说 PTAP, 的 第 一 列 是 ex 的 信 数 . 但 因 PIAP, 
是 对 称 矩 阵 , 故 它 必 有 形式 


A 0 
PTAP = , 
veel | 0 A | 
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其 中 A es ROOD) 是 对 称 矩 阵 ， 由 归纳 法 我 们 假定 有 一 个 正 交 和 矩阵 Q € 


Re-Dxe- 使 得 QT AQ, = A, ERRER. $Q = P, | i Q | 和 A = 
1 
| 4 | 并 且 比 较 矩 阵 方程 4Q = QA 的 列 就 可 得 到 定理 . o 
例 8.1.1 dX 


6.8 2.4 | | 0.6 —0.8 | 
和 Q= , 
24 8.2 0.8 0.6 
则 Q ALR A QT AQ=diag(10, 5). 
我 们 将 用 记号 ACA) 表示 对 称 和 矩阵 4 的 第 大 个 最 大 特征 值 , 这 样 ， 


An(A) < +++ < A2(A) < Ai (A). 
由 2 范 数 的 正 交 不 变性 可 以 知道 4 有 奇异 值 {| 和 1(4)|,… ,|An(A)|} R. 
|| Alle = max{|A1(A)|, |An(A)|}- 


Sy AR EE RPE AS “RMR A” RE, 它 是 基于 可 看 成 是 二 次 型 比值 
z!Amr/z'z WE. 

定理 8.1.2 (Courant-Fischer 极 小 化 极 大 定理 ) ”如 果 A € R"x" Anse 
RE, 则 


T 
A&(A)-2 max min y Ay 对 k= 二 1:n. 
dim(S)-k ofyes yTy 


证 明 & QTAQ = diag(A,) 是 Schur 4H, 其 中 A, = A(A, H Q = 
[g1 gz，…… ;qn]. 定义 
Sk = span(qi,:::, qi) 
为 与 Anoe An 相对 应 的 不 变 子 空间 , 容易 证 明 
. T yt Ay 
max min 一 站 一 2 min 
dim(S)=k O4yeS Y y O0zycS, yT Y 
现 证 明 反 过 来 的 不 等 式 . > 5S 是 任意 & 维 子 空间 且 注 意 到 它 一 定 与 维 数 为 n—k+1 
的 子 空间 span{q,,---,q,} 相交. 设 y, = akay 十 … 十 Ong, 在 此 交集 中 , 则 
min YAY YAY, < (A). 
omyes yTy ^ yry, < 
由 于 此 不 等 式 对 所 有 维 子 空间 成 立 , dX 


= dk FAqx = Ak(A). 


T 
V AV < NA). 
ann(S)— =k oin, yTy 


因此 定理 得 证 . 口 
如 果 A eR” 是 对 称 正定 矩阵 , 则 An(A) > 0. 
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8.1.2 ”特征 值 的 敏感 度 


对 称 特征 值 问题 的 一 个 重要 的 求解 框架 包括 产生 一 列 正 交 变换 {Q} 这 些 矩 
阵 使 得 QT AQ, 逐步 “更 加 对 角 化 ”. 问题 自然 而 然 产生 , 一 个 矩阵 的 对 角 元 与 它 
的 特征 值 究竟 近似 到 什么 程度 ? 

定理 8.1.3 (Gershgorin) i A c R?*" ARMEEL Q ER” JERE 
阵 . 若 Q™AQ= D+F, RP D = diag(d,---,dn), E. F AEA, 则 


A(A) C Uta. — Tri di t rij 


i=l 


其 中 对 一 1: mn, n=) ful. 见 定理 7.2.1. 
i=l 
证 明 EAE ACA), 且 不 失 一 般 性 假定 对 i=1:n 有 和 关 d;. 由 于 (D-AN+F 
奇异 , 由 引 理 2.3.3 可 知 , 对 某 个 ka ken) A 
1 |f; Tk 
«|(D—- M) Fla = > BA 
但 这 隐 含 和 € [di — re, dk + ral. 1 n 
例 8.1.2 se 


2.0000 0.1000 0.2000 
A= | 0.2000 5.0000 0.3000 
0.1000 0.3000 —1.0000 
有 Gershgorin 区 间 (1.7, 2.3], [4.5, 5.5] 和 [-1.4, —6] 以 及 特征 值 1.9984, 5.0224 和 
—1.0208. 
下 面 的 结果 表明 , 如 果 A 被 一 个 对 称 矩 阵 E 所 扰动 , 则 它 的 特征 值 变化 范围 
不 超过 El. 
定理 8.1.4 (Wielandt-Hoffman) X A##A+EAnxn SARE, 则 


20s (A+ E) - A(A)? < |El- 


证 明 “在 Wilkinson(1965, 104-108 页 ) 或 Stewart and Sun(1991, 189~191 页 ) 


中 均 能 找到 证 明 . 也 可 参看 习题 8.1.5. D» 
例 8.1.3 wR 
A- | 2 和 和 E- os MI 
24 82 0.003 0.001 


则 ACA) = (5,10) f A(A + E) = (4.9988, 10.004}, 满足 
1.95 x 1079 = [4.9988 — 5|? + [10.004 — 10}? < || El] 
— 2.3 x 107°. 
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定理 8.1.5 wRA PALE E mx n THE, 则 对 = 二 1:n 有 
Ak(AÀ) + An(E) < MA+E) < (A) +A (E). 
证 明 ”这 可 由 极 小 化 极 大 定理 证 明 ， 参 看 Wilkinson(1965, 101~102 页 ) 或 


Stewart and Sun(1990, 203 页 ). 口 
例 8.1.4 如果 
A= 6.8 2.4 和 0.002 0.003 | 
2.4 8.2 0.003 0.001 


则 A(A) = (5,10), (E) = (—0.0015, 0.0045}, 且 ACA + E) = (4.9988, 10.0042}, 满 


E 
5 — 0.0015 < 4.9988 < 5 + 0.0045 


10 — 0.0015 < 10.0042 < 10 + 0.0045 
推论 8.1.6 X Af AHE X n x n SHH, 则 对 k= 二 1:n 有 


«(A + E) — Mx(A) < |EII2- 
WEBB [A (A+ E) — A&(A)| < max(|[A4 (E)], A (E)]) = Ell- D 
从 极 小 化 极 大 性 质 可 得 出 几 个 更 有 用 的 扰动 结论 . 
定理 8.1.7 (交错 性 质 ) ”如 果 A C R"*" AMMA A, = (1 :7,1:7), 则 
对 7 二 1:n 一 1 有 
Art (Arti) S Ar(Ar) SM(Art1) S S MlArti) S M(A) S A1(Ar41)- 


WEBB — Wilkinson(1965, 103~104 Ji). D» 
例 8.1.5 de X 
1 1 1 1 
Ax 12 3 4 
13 6 10 
1 4 10 20 


则 ACA:) = {1}, A(A2) = (0.3820, 2.6180 
= {0.0380, 0.4538, 2.2034, 26.3047}. 
定理 818 iE B=jAdree’, KP ACR” SHE, c E RP 是 2 范 
数 单位 向 量 且 TE 了 及 . Hr>0, i 
AB) € [A (4), A-4), 7= 2:2. 


— 


, (Ag) = (0.1270, 1.0000, 7.873), E A(A4) 


mæ oT <0, 则 
AB) € Baa (A), ACA), d 1:n- 1L 
在 任 一 情形 下 都 存在 非 负 数 m1, … ,mm 使 得 
(B) = ACA) + mir, i—l:n 
而 且 mi 十 … 十 mnn 一 工 . 
WEB] — Wilkinson(1965, 94~97 页 ), 也 可 参见 习题 8.1.8. 口 
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8.1.3 ”不 变 子 空间 

许多 特征 值 计 算 过 程 都 是 将 原来 问题 分 解 成 许多 小 的 子 问 题 求解 .下 面 的 定 
理 是 这 种 求解 框架 的 基石 . 

定理 8.1.9 ”假设 A c Rn"xn Jp xk AERE B. 


Q=( Qı Q | 
nr 


f 
为 正 交 矩阵 . 如 果 ran(Q) 是 不 变 子 空间 , 则 


T _ E D: 0 T 
d'Aq- D- | 0 sce (8.1.1) 
. T n-—Tr 
E (A) = A(D1)U A(D2). 参看 引 理 7.1.2. 
证 明 如果 
D, ET 
TA = 1 21 
9 49 | E»n D» | 


则 从 AQ = QD, 我 们 有 AQ, -Q,D: = Q,En. 由 于 ran(Q1) 是 不 变 子 空间 ， 
Q En 的 列 向 量 也 在 ran(Qi) "P, 因此 与 Qs 的 列 向 量 垂直 , 故 
0 = Q7(AQ, -QiDi) = Q2Q; Exi = En. 
所 以 , (8.1.1) 成 立 . 易 证 
det(A — AIn) = det(QT AQ — MIn) = det(D; — 和 Ir)det(D2 — Mn-r), 
这 就 证 实 了 A(A) = 和 (D1) UA(D;). a 
不 变 子 空间 的 扰动 敏感 度 依赖 于 相关 特征 值 与 谱 中 的 其 他 特征 值 的 分 离 度 . 两 
SEM BA C 的 特征 值 的 分 离 度 的 适当 度量 由 下 式 给 出 : 
sep(B,C)= min |A - yl. (8.1.2) 
Aex(B) 
nex(C) 
由 此 定义 , 我 们 有 下 述 定理 . 
定理 8.1.10 RAFAL E JE n x n yE 
Q= [ Qi Q- ] 
r 


m—r 
Z-AERMM, 它 使 得 ran(Q1) 是 A 的 不 变 子 空间 , 将 矩阵 QT AQ 和 QTEQ 
划分 如 下 : 


Di 0 |r En ER |r 

T T 

Q AQ | 0 be P Eo |n-r 
T n-r T Rn-r 


如 果 sep(Di, D2) > 0 E | ) 
sep(D,, D2 

€; 一 一 一 -一 一 

ala < SPERA, 
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则 存在 一 个 满足 4 
I.Pll2 < sep(D;, Day Pala 
HEE P c ROX 使 得 @ = (Q - Q;P)I - PTP) V? 的 列 定 义 了 ALE 
不 变 子 空间 的 一 组 正 交 基 , 参看 定理 7.2.4. 
证 明 ”此 定理 是 Stewart(1973) 中 定理 4.11 的 稍微 改动 , 矩阵 (I -- PT p)-17 
是 (I+ PT P) 的 平方 根 的 逆 . 见 4.2.10 $5. 口 
推论 8.1.11 车 定理 的 条 件 成 立 , RJ 


dist(ran(Q,),ran(Q,)) < sep; Day 2” le 
参见 推论 7.2.5. 
证 明 ”用 奇异 值 分 解 (SVD) 可 证 
PE + PT P)» < lIPll>. (8.1.3) 


由 QIQ,- PU + PEP) 可 得 
dist(ran(Q,),ran(Q,)) = Q2 Ô; ll2 = || PO + PP P) 77; 
和 ||Pll2 < 4||B21||2/sep(Di, D2). 口 
这 样 , sep(D1, D2) 的 倒数 可 认为 是 度量 不 变 子 空间 ran(Q,) 的 敏感 度 的 条 件 


数 . 
扰动 对 单 特征 向 量 的 影响 非常 重要 , 对 此 重要 情形 我 们 强调 以 上 结论 . 
定理 8.1.12 3E A Áo A -E Xon x n ARER 
Q- [ dı Q; ] 
1 n-—1 
LEZER, 其 中 q X A 的 特征 向 量 . 将 QTAQ 和 QTEQ 划分 如 下 : 
T _| A 0 1 T _|e er |1 
Q ao-| 0 D IM Q zo-| e Em la 
1 n-i 1 n—l1l 
d= mm Du 20H 
Bla < 7. 
则 存在 满足 
lpll < Slell. 


& pc R^-! 44} à — (q + Qop)/Vitpip X A E 85 2 范 数 单位 特征 向 量 . 


而 且 ， 
4 
dist(span{q }, span{qi}) = y 1 — (4741)? < Gilelle. 
也 参见 推论 7.2.6. 
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证 明 ”应 用 定理 8.1.10 和 推论 8.1.11(r = 1) 并且 注 意 到 如 果 D, = (2) 则 
d = sep( D4, D2). Ü 
Bi 8.1.6 40 A = diag(0.999, 1.001, 2.0) 和 
0.00 0.01 0.01 
E= | 0.01 0.00 0.01 |, 
0.01 0.01 0.00 
则 Q' (A + E)Q = diag(0.9899, 1.0098, 2.0002), 其 中 
—0.7418 0.6706 0.0101 
Q=| 0.6708 0.7417 0.0101 
0.0007 —0.0143 0.9999 
REXER, > G, = Qeii=1,2,3. FÈ, ĝi XA 的 特征 向 量 q; = e; HRM. it 
算 表明 
dist{span{q, },span{q,}} = dist{span{q,},span{q.}} = 0.67. 
RH, 因为 特征 向 量 qu 和 qs 对 应 于 附近 的 特征 值 , 故 不 能 精确 计算 . 另 一 方面 , 由 
于 和 和》a 5A 分 开 , 它们 定义 的 二 锥 子 空间 不 是 特别 敏感 , 这 从 dist {span{q1,g2}， 
span{ 鲜 ,G2}} = 0.01 可 以 看 出 . 
8.1.4 ”近似 不 变 子 空间 
如 果 Q1 ER 的 列 线性 无 关 并 且 对 某 S eR’ REER = AQ, 一 QS 
Be), 则 Q, 的 列 向 量 定义 了 一 个 近似 不 变 子 空间 . 当 有 了 这 样 一 个 矩阵 时 , 让 我 
们 看 看 4 的 特征 系统 有 何 特点 . 
定理 8.1.13 jb A c R?*" fo S eR?" AE Sp RAE RE H. 
AQ, -QS =F, 
其 中 Q ER? BR QIQ =1,. 则 存在 m, ,Jr EAA) 使 得 
juk — (S) < V2 Fille, k—1:r. 
证 明令 Q eR 0O 任意 矩阵 , 使 得 Q = [Q1, Q2] 是 正 交 和 矩阵. 可 以 推 
出 
T S 0 QIE: ElQ; 
Q 49- | 0 QJAQ, | | QIE, 0 
于 是 应 用 推论 8.1.6 可 知 , XP k = 1: n 都 有 |X(4) -入 (B)| < |El 由 于 
A(S) C ACB), 存在 ui, br € MA) 使 得 
Jur — (S) < Elz k=1:r. 
注意 到 对 任意 :ze Rr" M y eR”, 我 们 有 


inis] 


|eser 


< |Eizllo + ET Qoylle < lLE:llallelia + |Zrllallylle, 
2 
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BA El» < V2||E1\l2, 从 而 定理 得 证 . a 
例 8.1.7 如 果 
6.8 2.4 0.7994 
A= | 2.4 8.2 | a= | 0.6007 |. s=6y ER, 
则 
—0.0828 
AQ, -Q,$- | —0.0562 | = 


定理 预示 着 4 在 以 5.1 AP, V2|E:llo = 0.1415 为 半径 的 领域 内 有 一 个 特征 值 . 
由 A(A) = (5,10) 可 知 该 结论 正确 . 

定理 8.1.13 的 特征 值 范围 依赖 14Q: — Q1Sl:. 给 定 A 和 Q, 下 列 定理 表明 
怎样 选择 S 使 该 量 在 Frobenius 范 数 意义 下 极 小 化 . 

定理 8.1.14 dX Ac R^*" 是 对 称 短 阵 且 @ ER 的 列 向 量 正 交 . A 


min ||AQ, — Q:Slir = I(E ~ Q:QT)AQ;llF, 


sepe 
E S-QIAQ, 是 极 小 化 矩阵 . 

证 明令 Q, e R"x("m-") 使 得 Q=(Q, Q;] HIER, 对 任意 S ERX 
我 们 有 

| AQ; 一 Qi Sl = IQT AQ, 一 Q"Q,S| 
= [Q1 AQ; - SI? + IQ? AQ, |F- 

很 清楚 , S = QT AQ, 使 上 式 达 到 极 小 . 口 

这 个 结论 使 我 们 能 从 任何 一 个 7 维 子 空间 ran(Qi) 中 选取 r 个 “最 佳 的 ” 近 
似 于 特征 值 -特征 向 量 的 集合 . 

定理 8.1.15 ACRO” AREE Q ER BR QTQ =1,. X 

Z1(Q7 AQ,)Z = diag(6i, 6) = D 
X QTAQ, 的 Schur PMB QIZ = [ys yr], Ma kali 有 
l Ay. — valle = I(E — Q:Q7) AQ, Zerlle < | — Q:Q7)AQ, jo. 
WERA 
Ay, — Oy = AQ, Zerk 一 Q1Z Der = (AQ, — Q (QT AQ,))Zex 

两 边 取 范 数 , 定理 得 证 . 口 

在 定理 8.1.15 中 , 0, 称 为 Ritz 值 , y, 称 为 Ritz 向 量 , (0s, Ye) 称 为 Ritz 对 . 

如 果 我 们 弱化 定理 中 Q, 的 列 向 量 为 正 交 的 假设 , 则 定理 8.1.13 的 应 用 更 广 . 
如 同 所 料 , 没有 正 交 性 其 界 会 变 坏 . 

定理 8.1.16 设 A € IR". AMPED 

AX, —-X1S = Fi, 
其 中 Xi eR” H S= XTAX. 如 果 
(XTX, -Ipl2=7 <1, (8.1.4) 
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则 存在 m, ,Lr € ACA) 使 得 对 有 = 1:7 都 有 
lux — Ax(S)| < V2(||Fill2 + r(2 + 7)I| Alla). 

证 明 令 X = ZP 是 X 的 极 分 解 ， 回忆 4.2.10 节 中 的 定义 , 这 意味 着 
Z eR” 的 列 向 量 正 交 且 P eR”: 是 对 称 半 正定 矩阵 , 满足 P? = XTX. 在 等 
式 

E, = AZ~ ZS =(AX,— XI1S)+ A(Z—-X1)-(Z-Xi)S 
= F, + AZ(I — P) - Z(I - P)X{ AX, 
两 边 取 范 数 得 
[Eillz < Fill + LATTE — Pll + X115). (8.1.5) 

等 式 (8.1.4) 意味 着 


IX <1+7. (8.1.6) 


由 于 P 是 半 正 定 矩 阵 , (1 + P) 非 奇 异 且 
I-P=(I+ P) (I-P?) =(I1+P) HI- XĪX:), 

这 隐 含 着 |I- Pla «c. 将 此 不 等 式 和 (8.1.6) 代入 (8.1.5), 有 Eille < ||Fill2 + 
T(2--7)| Alo. 注意 到 , 我 们 可 应 用 定理 8.1.13(Q, = Z) 并 通过 余 量 阵 E, 将 A 和 
S 的 特征 值 联系 起 来 . 口 
8.1.5 ”惯性 定律 

对 称 矩 阵 A 的 惯性 是 三 个 非 负 整数 的 数组 (m, z,p), 其 中 m,z 和 p 分 别 是 
MA) 的 负 元 素 , 零 元 素 及 正 元 素 的 个 数 . 

定理 8.1.17 (Sylvester 惯性 定律 ) | Jj A eR"*" FET ARE BX € RX” 
EH, WA de XT AX 有 相同 的 惯性 . 

WEB] BWH r 有 A(A)20, BEX So C R^ 为 

So = span(X ^q, Ut ,X~*q,}; q; #0 

其 中 Aq; = i(A)ay i — 1: r. A (XT AX) 的 极 小 化 极 大 特性 得 


T(XTAX T(XTAX 
A(XTAX)- max min OX AX)y V Laus YX AMY 


dim(S)=r ES yTy * yeSo yTy 
因为 
TryT 
ycR" > Y a > on(X)?, 
T(XTAX 
ye Sy 2 ( Ty v > X (A), 
所 以 


yt (XTAX)y y! (X^ X)y 


(XT AX) 2 mi 
入 ( ) mie | yt (XTX)y yTy 


| > Mos (Xy. 
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交换 A 与 XTAX 的 位 置 , 可 类 似 推出 r 
M(A) 2 A (XTAX)on( X) = w AS) 
ei 


这 表明 D(A) 和 ALCXT AX) 有 相同 符号 , 这 样 我 们 知道 4 和 XTAX 有 相同 个 
数 的 正 特征 值 . 若 将 此 结果 用 到 —A, 就 得 到 A 和 XT AX 有 相同 个 数 的 负 特征 
E. 显然 两 个 矩阵 的 零 特征 值 个 数 也 一 样 . 口 
例 8.1.8 # 4=diag(3, 2, —1) 和 
1 4 5 
x- | 012 | 

0.0 1 

则 
3 12 15 | 


xtax=| 1 50 64 
15 64 82 


以 及 AXTAX) = [134.769 0.3555 — 0.1252]. 
3 题 
8.1.1 不 用 本 节 任 何 结论 , 证 明 2 x 2 对 称 和 矩阵 的 特征 值 一 定 为 实数 . 
8.1.2 te A= | ; 3 | 的 Schur 分 解 . 


8.1.3 证明 Hermit AEBE (AP = A) 的 特征 值 为 实数 , 对 本 节 的 每 一 定理 及 推论 , 陈述 
和 证 明 关于 Hermit 矩阵 的 相应 结论 , 当 A 是 反对 称 矩 阵 时 ， 有 什么 类 似 结论 ? (提示 ; 若 
AT = -4, 则 i4 为 Hermit 型 ). 

8.1.4 RAE X ER’ r<n, B|X"X- I|] 2r«1, M omn(X) 21-7. 
8.1.5 W A, E c R^*^ 是 对 称 和 矩阵 并 考虑 Schur 分 解 A -tE = QDQ™, 其 中 我 们 设 
Q = Q(t) 和 DD = D(t) 是 关于 te RR 的 连续 可 微 函数 . 证 明 : D(t) = diag(Q(t)* EQ(t)), 其 

中 右 端 矩阵 是 Q(OTEQ() 的 对 角 部 分 . 通过 在 等 式 两 边 同 时 从 0 到 1 积分 并 取 Frobenius 

范 数 , 即 可 证 明 Wielandt-Hoffman 定理 . 


1 
IIDQ) - Dos < | Ildiag(Q(t)" EQ(t)) || pdt < | Ele. 


8.1.6 证 明定 理 8.1.5. 

8.1.7 证 明定 理 8.1.7. 

8.1.8 # CER” 则 迹 函 数 tr(C) = cll 十 … 十 cnn 等 于 C 的 特征 值 之 和 . 用 此 结论 
证 明定 理 8.1.8. 

8.1.9 ”证明 若 B c Rmxm WLC e 了 "xn” AMBRE, 则 sep(B,C) = min||BX 一 
XC\lr, 其 中 极 小 值 是 在 所 有 R” 中 取 . 

8.1.10 证 明 不 等 式 (8.1.3). 

8.L11 设 AcR^'" QO, C e R"*” 列 满 秩 且 设 7 <n. 应 用 定理 8.1.8, 找到 
4+CCT 的 特征 值 和 A 的 特征 值 之 间 的 关系 . 
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8.2 BIR KE 


W A ce R"x" 为 对 称 矩 阵 且 Uo c R^*" 为 正 交 和 矩阵. 考虑 下 列 QRRA: 
To = UZ AUo 
for k=1,2,--- 
Tr-1 = Uk Rk (QR 分 解 ) (8.2.1) 
Ty = ReUE 
end 
由 于 = RQU, = UT(UkRE)UE = ULT&iUs, 由 归纳 法 知 
T, = (UoU1---Ux)" A(UoU 1 --- Ux). (8.2.2) 
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这 样 , 每 个 T. 正 交 相似 于 A ME, Te 几乎 总 是 收敛 到 对 角 型 ， 所 以 , 可 以 说 
(8.2.1) 几乎 总 是 “收敛 ”到 4 的 Schur 分 解 . 为 了 建立 这 个 重要 结论 , 我 们 首先 考 
WSIS EAI IE CREE. 
8.2.1 FRE 
给 定 一 个 2 WR gO e R^, 乔 方 法 产生 一 列 如 下 向 量 gh: 
for k=1,2,... 
x(k) = AqU-D 
do = 2) hz] (8.2.3) 
AF) = [g(9]T AqUO 
end 
如 果 q(0 RE RGR” WA A 的 极 大 模特 征 值 唯一 , 则 g™ 收敛 到 一 特征 
向 量 . 
定理 8.2.1 ACR” 为 对 称 和 矩阵 且 
QTAQ = diag(N… , An), 
其 中 Q= jg ,qn] REREH [i] > | 和 9| > [As]. 令 向 量 qt*) 是 由 (8.2.3) 
得 到 的 且 定义 gk E [0,5] 如 下 : 
cos(9x) = lgr a}, 
Æ cos(ĝo) #0, Nj 


| sin(6;,)| 和 tan(o) (8.2.4) 


A2 
Al 


5 


入 2 
|X9 — da] < Da — Anl tam(@o)? |= (8.2.5) 


证 明 ”由 迭代 定义 , A q(9  A*g® 的 倍数 且 
2 
, qT A*q() 
| sin(8r)|? —1- (q1q()? 二 1 一 ( . 
: |A®q® || , 
如 果 qO 有 特征 向 量 展 式 q% = aig, +--+ angna, 则 
lai] = |g g© | = cos(00) #0, 
a +--+ a = 1, 
且 Akg) = ar\Fqy 十 Q2 千 qz 十 … 十 as AEq,,. 于 是 
22k "^al 
|sin(0,)|? = 1— —ü^ o 2c: 


元 n 
DaD ML 
wl i-1 
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这 证 明了 式 (8.2.4). 类 似 地 ， 
[g(]T A2* "100 B Y. adipe 


A) = gT Ag® = NEM 
i1 


TÉ 
a2 MF (X; — X1) 12 MC 
A0 A EM cud 2( 24 
| aj v Lap < | a Ue M 
2 {2 
€ |À1 ~ An| tan(8o) (2 Y, . 口 
例 8.2.1 
一 1.6407 1.0814 1.2014 1.1539 
A= 1.0814 4.1573 7.4035  —1.0463 


1.2014 7.4035 2.7890 —1.5737 
1.1539 —1.0463 -1.5737 8.6944 


的 特征 值 由 A(A) = {12,8,-4,-2} 给 出 . XE (8.2.3) GMB EAE RE, + g = 
[1 0 0 OJT, XN . 


1 2.3156 11.7747 
2 8.6802 7 11.8967 
3 10.3163 8 11.9534 
4 11.0663 9 11.9792 
5 11.5259 10 11.9907 


注意 到 以 速度 Do/MP* = (8/12)* = (4/9)* iaka] à = 12. 
利用 定理 8.1.13 RT AESUPRETE S VERECVA AE. 如 果 


|Ag® — Aq |p = 6 
则 存在 A © ACA) 使 得 [AM — Al < v28. 
8.2.2 wR 
假设 军法 中 的 A 由 (A-A 代替 . 如 果 和 很 接近 A 的 一 个 单 根 , 则 下 一 
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个 迭代 向 量 在 相应 的 特征 方向 的 成 分 就 非常 多 . 


un 2,00 > (A-M) = Y xdi 
Aq; = Aid, i — l:in il 
这 样 , 4$ A e Ay Ha; 不 是 太 小 , WE q 方向 上 此 向 量 有 一 较 强 分 量 . 这 个 过 程 称 
HARRERAK A- AI 为 系数 矩阵 的 线性 方程 组 . 
8.2.3 Rayleigh MAR 


设 4e Rnxn 是 对 称 矩阵 且 z 是 一 给 定 的 非 零 ” 维 向 量 . 简单 的 求 导数 就 发 
现 
T 
入 = r(z) = m 
f& |\(A — AD) ello 达到 极 小 (参看 定理 8.1.14). HH r(x) 称 为 = HY Rayleigh}. 显 
XR, 若 xz 是 近似 的 特征 向 量 , 则 r(z) 是 其 对 应 特征 值 的 较 好 估计 . 把 这 个 思想 与 逆 
ERASMAS Rayleigh 8j s&4X : 
% xo.|roll2 — 1 
for k=0,1,--- 
pk = r(zk) (8.2.6) 
解 (4 — Hel)zk+1 = Zk, 得 zkp+l 
Dk+1 = Zk+1/ ei l2 


end 


例 8.2.2 de (8.2.6) 应 用 到 


11 1 1 1 1 
12 3 4 5 6 
A= 13 6 10 15 2l 
1 4 10 20 35 56 | 
1 5 15 35 70 126 
1 6 21 56 126 252 


其 中 To 二 [, 1, 1, 1, 1, 1]7/6, 则 


k Hk k Bk 

0 153.8333 3 13.8687 
1 120.0571 4 15.4959 
2 49.5011 5 15.5534 


3k AX IK Ak SI HAE LR. A — 15.553 473 273 7. 
Rayleigh 商 迭 代 几 乎 总 是 收敛 的 ， 当 收敛 时 ， 其 收敛 速度 为 三 次 ， 我 们 演示 
n = 2 的 情形 . 不 失 一 般 性 , 可 假定 4 = diag( 和 1, 和 2), 其 中 Xi > Ao. 记 zk 为 
Tk = Ck ， +s =l, 
Sk 
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可 以 得 出 (8.2.6) 中 的 jx = Arc? + A192, B. 
1 cx / 52 
Zk+ =< 
Ea — Ag | -sk/ 2 


Ck+1 = ch ， Sk+1 一 = . 
Vis Jd + 88 
从 这 些 等 式 很 清楚 看 到 , Æ [en] A loa], zk 立方 收敛 到 span(ei) Bk span{e2}. 
在 Parlett(1974) 中 可 以 找到 Rayleigh BOER SASS, 
8.2.4 ERER 


寡 法 的 直接 推广 可 用 于 计算 高 维 不 变 子 空间 . +r 是 选 定 的 满足 1<r < n 的 
整数 . 给 定 一 个 n xr EIEEE Qo 正 交 和 迭代 方法 产生 如 下 一 列 矩 阵 {Q,} C 
R"*"; 

for k = 1,2,- 

Zk = AQK-1 (8.2.8) 
QeRe = Ze (QR 分 解 ) 

end 
注意 到 如 果 + = 1, 这 正 是 军法 . HUE. (Quei) PERIE q(0) = Quei MRA E 
的 向 量 序列 . 

为 了 分 析 (8.2.8) 的 表现 , 设 

Q™AQ = D -disg(), |M| 2 [a] > 2 JAn] (8.2.9) 
是 A cR” 的 Schur 分 解 , 将 Q, D 划分 如 下 ; 


计算 表明 


(8.2.7) 


D; 0 T 
= = .2.10 
Q IQ. eel D ^ by bie (8.2.10) 
T "n-—T" 


车 |r| > Deal; 则 
D,(A) = ran(Q4) 
是 + 维 的 主 不 变 子 空间 . 这 是 与 特征 值 An ,和 相对 应 的 唯一 不 变 子 空间 ， 
下 面 的 定理 表明 了 在 合理 假设 下 ， 由 (8.2.8) 产生 的 子 空间 ran(Qk) 以 速度 
Arta /Ar|* WE) D,(A). . 
定理 8.2.0 4 A c R^*^ (n > 2) 的 Schur 分 解 由 (8.2.9) 和 (8.2.10) 给 出 . AR 
E [del > [Arai] En xr EMR (Qu) 由 (8.2.8) 所 定义 . 如 果 0 € (0,n/2] 满足 


T 
cos(0) = min uol 
uedr(A) ||ullallvlla 
v€ran(Qo) 
k 
则 dist(D. (A), ran(Q,)) < tan(0) n . 参见 定理 7.3.1. 
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证 明 ”由 归纳 法 可 证 
A*Q, = Q,(R& - -- Ra), 
HH (8.2.10) 的 划分 我 们 有 


|^ 0 | | Ge | = | Ose | aa. 


0 Di || Qo Q;Q, 
T 
如 果 QTQ, = Qa, Q47Q, = ae | =| Vk IE 
QQ = (Qa; Q4] Qk bs Ww, 


cos(Omin) = Or(Vo) = vA - IW olla, 
dist(D. (A), ran(Q,)) = IW lla; 
DiVo = V&(R& -- Ra), 
DEW = WR, -- + Ri). 
由 上 可 知 Vo 非 奇 异 , 这 说 明 Vp 和 (Ri… Ru) 也 非 奇异 . 这 样 
W;, = DEW(B,--. Ri)? = DEW (Vz DVo)! 


= DEWoV>'!Di*V:, 
A 
IW «lla < [Dalel Wolel ol olo 
k 
€ [Acai l^ sin(0) —— = i 5j x AE = tan(0) n [1 
(5j 8.2.3 ET (8.2.8) 应 用 到 例 8.2.1 &9 48 Me, Rr- =2 A Q = Ll:,1 :2), 
则 


dist(D2(A), ran(Q,)) dist(D2(A), ran(Q4)) 


8.2.5 QR KK 
考虑 当 r = n 时 应 用 正 交 迭代 法 (8.2.8) 的 情况 . 4 QT AQ = diag(A1,--- , An) 
是 Schur 分 解 , 而 且 设 
[Ai] > Pal» … > Sl. 
如 果 Q = [qi,… ,qnj, Qk = la. Atin- A 
dist( D; (A), span (ac? . qo) <1. (8.2.11) 
则 由 定理 8.2.2 可 知 , 对 i=1:n 一 1， s 


入 
dist(span(afP,, -- D :.q(9), span(q;, Uta qi}) = =0 (Re TL 


^i 
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这 说 明 由 
T. = QI AQ, 
定义 的 矩阵 Te 收敛 到 对 角 型 . 这 样 , 可 以 说 当 r = n 且 初 始 迭 代 和 矩阵 Qo c R"*" 
在 (8.2.11) 意义 下 非 秩 亏 时 , 正 交 迭代 方法 计算 Schur 分 解 . 
考虑 怎样 直接 从 Thi 计算 后 一 个 矩阵 T. 就 得 到 了 QR ZRNE. 一 方面 , 由 
(8.2.1) 和 T1 的 定义 得 到 
Tk-1 = Qi AQ, ; = Qi (AQ, i) = (Qi .,Q,)Rs. 
另 一 方面 ， 
TX = QLAQ, = (QLAQ& (QE Q4) = Re(Qe_1Qx)- 
这 样 , 计算 Tr 的 QR 分 解 , 然后 按 相 反 顺 序 将 这 些 因 子 乘 起 来 就 得 到 了 Th. 这 
恰好 是 (8.2.1) 所 做 的 事 . 
Bi 8.2.4 车 把 QR 迭代 (8.2.1) 应 用 到 例 8.2.1 的 矩阵 , 则 10 XERE 
11.9907 一 0.1926  —0.0004 0.0000 
一 0.1926 8.0093 .—0.0029 0.0001 
—0.0004 —0.0029 —4.0000 0.0007 
0.0000 0.0001 0.0007 —2.0000 
Ty AEX RAK KAS BH se T: 


Tio = 


k |T} (2, DI m3. DI FT (4. 1)] [Tk (3, 2)| [Tk (4, 2)] Tk (4, 3)] 
1 3.9254 1.8122 3.3892 4.2492 2.8367 1.1679 
2 2.6491 1.2841 2.1908 1.1587 3.1473 0.2294 
3 2.0147 0.6154 0.5082 0.0997 0.9859 0.0748 
4 1.6930 0.2408 0.0970 -0.0723 0.2596 0.0440 
5 1.2928 0.0866 0.0173 0.0665 0.0667 0.0233 
6 0.9222 0.0299 0.0030 0.0405 0.0169 0.0118 
7 0.6346 0.0101 0.0005 0.0219 0.0043 0.0059 
8 0.4292 0.0034 0.0001 0.0113 0.0011 0.0030 
9 0.2880 0.0011 0.0000 0.0057 0.0003 0.0015 
10 0.1926 0.0004 0.0000 0.0029 0.0001 0.0007 


注意 , —: QR 和 迭代 需要 O(n’) 个 fop. WA, 出 于 收敛 是 线性 的 (AE 
在 时 ), 很 明显 , 用 该 方法 来 计算 Schur 分 解 的 代价 是 非常 昂贵 的 . 幸运 的 是 , 这 些 
实际 困难 能 够 克服 , 下 一 节 我 们 要 证 明 这 一 点 . 


习 题 


8.2.1 设 Ao ER” 为 对 称 正定 矩阵 , 考虑 下 列 迭 代 : 
for k=1,2,... 
Ap-1 = GG? (Cholesky 分 解 ) 
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Ak = GIG, 


end 


(a) uEB] ETE X IAE TCR ARX. (b) 证 明 若 Ao = | ; : | 有 特征 值 à 2 A2 > 0( 其 中 


a > c), 则 Ax 收敛 到 对 角 和 矩阵 diag(A1, A2). 
8.2.2 证 明 (8.2.7). 
8.2.3 BAER” 是 对 称 矩 阵 且 定 义 函 数 f: 及 "+ 一 RH 为 


x Az — rA\7x 
- a 入 )- | (aT a — 1)/2 | 


其 中 we Rr 且 入 eR 及 . 设 z+ 和 和 + 是 应 用 牛顿 法 于 f E ze 和 Xe 所 定义 的 “当前 点 ”的 
值 产生 的 . 试 给 出 z+ 和 和 + 的 表达 式 , 设 leel = 1 HA. = 2] Awe. 


本 节 注 释 与 参考 文献 


下 列 参 考 文献 讨论 正 交 和 迭代 方法 (也 称 之 为 同步 迭代 方法 ): 

G. W. Stewart (1969). “Accelerating The Orthogonal Iteration for the Eigenvalues of a 
Hermitian Matrix,” Numer. Math. 13, 362-376. 

M. Clint and A. Jennings (1970). “The Evaluation of Eigenvalues and Eigenvectors of Real 
Symmetric Matrices by Simultaneous Iteration,” Comp. J. 13, 76-80. 

H. Rutishauser (1970). “Simultaneous Iteration Method for Symmetric Matrices,” Numer. 
Math. 16, 205-223. See also Wilkinson and Reinsch (1971, pp. 284-302). 
KF Rayleigh 商 方法 的 参考 文献 有 : 

J. Vandergraft (1971). “Generalized Rayleigh Methods with Applications to Finding Eigen- 
values of Large Matrices," Lin. Alg. and Its Applic. 4, 353-368. 

B. N. Parlett (1974). “The Rayleigh Quotient Iteration and Some Generalizations for Non- 
normal Matrices,” Math. Comp. 28, 679-693. 

R. A. Tapia and D. L. Whitley (1988). “The Projected Newton Method Has Order 1-/2 
for the Symmetric Eigenvalue Problem," SIAMJ. Num. Anal. 25, 1376-1382. 

S. Batterson and J. Smillie (1989), “The Dynamics of Rayleigh Quotient Iteration,” SIAM 
J. Num. Anal. 26, 624-636. 

C. Beattie and D. W. Fox (1989). “Localization Criteria and Containment for Rayleigh 
Quotient Iteration,” SIAM J. Matriz Anal. Appl. 10, 80-93. 

P. T. P. Tang (1994). “Dynamic Condition Estimation and Rayleigh-Ritz Approximation,” 
SIAMJ. Matriz Anal. Appl. 15, 331-346. 


8.3 WER QR 算法 


有 两 种 方式 可 使 对 称 QR 迭代 (8.2.1) 非常 有 效 . 首先 , RMB IRE AL 
个 正 交 矩阵 U 使 得 UL AU = T 为 三 对 角 和 矩阵 . 有 了 这 一 约 化 , (8.2.1) FERR 
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代 和 矩阵 都 是 三 对 角 和 矩阵 , 使 得 每 步 工 作 量 为 Oln?) 个 flop. 其 次 , 应 用 位 移 思想 , 用 
此 技巧 , 约 化 以 立方 速度 收敛 到 对 角 型 . 这 比 在 8.2.5 小 节 中 讨论 的 使 非 对 角 线 元 
素 以 速度 A/A 化 为 零 的 方法 要 好 得 多 . 
8.3.1 ”化 为 三 对 角 阵 

如 果 A 对 称 , 则 可 以 找到 一 正 交 矩阵 Q 使 得 

QTAQ =T (8.3.1) 

HEA. 我 们 称 此 为 三 对 角 分 解 ， 作 为 数据 压缩 , 此 方法 朝 对 角 化 迈 出 了 很 
大 一 步 . 

我 们 现在 来 说 明 怎 样 用 Householder 矩阵 来 计算 (8.3.1). 设 Householder 5EEE 
Pi- Pua 已 确定 , ERE AL = (Pio Pei)  A(Pi +: Pp), RI 


Bu Bi 0 k—1 
Akı = | Ba Ba Boss 1 
0 B32 B33 n—k 


k—1 1 n-k 
Mat k—13)—9/858EE. 如 果 P, E n — k Bre) Householder RF, 使 得 Pi Bs» 
是 L, (1) 的 倍数 而 且 如 果 Py = diagr; Px), 则 


Bu Bai 0 k-1 
Ax = Py Ag-1 Pr = | Bar B22 Ba Pk 1 
0 P,,B32 P,Ba3P, n—k 
k—1 1 n-k 


的 右上 角 的 xk ESSE WEE. 显然 , # Uo = p Pn—2, MUSAU! = 
T 为 三 对 角 和 矩阵 . 

在 计算 A, 中 , 很 重要 的 一 点 是 形成 矩阵 Py Bas Py 时 充分 利用 对 称 性 . 精确 
地 说 , HP), 有 如 下 形状 : 

P,=I-—fvvt, B=2/vTv, OveR. 
注意 到 若 p = 8Basv How =p — (8pTv/2)v, W 
P,B33P;, = Bas — vw? — wo. 

由 于 只 需 计 算 此 矩阵 的 上 三 角 部 分 ,我 们 看 到 完成 从 Aa 到 A, 的 变换 只 需 
4(n — k)? 个 flop. 

算法 8.3.1 (Householder 三 对 角 化 ) ”给 定 一 对 和 角 EE ACR"™", 本 算法 用 
T= QTAQ AŽ A, RYT 9 EE ASEM, Q = Hic Hn_2 是 Householder XX 
3 85 RAR. 

fo k-—1:n-—2 

[v, 8] = house(A(k + 1 : n, k)) 
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p= BA(k+1:n,k+1:n)u 
w = p — (Bp*v/2)v 
A(k +1,k) = AQ +1 : n, Klo; Alk, k +1) = A(k +1, k) 
Alk+1i:n,k+1:n)=A(k+1:n,k+1:n)—vwT — wT 
end 
当 计 算 秩 2 修正 充分 利用 对 称 性 时 , 算法 需 4m3/3 个 flop. EE Q 以 分 解 形式 储 
存在 A 的 次 对 角 线 下 面部 分 . 如 果 需 要 显 式 Q, 则 需 额外 的 4m373 个 flop. 


例 8.3.1 

100] [1234 1 0 0 1 5 0 

0 0.6 0.8 328 0 06 08 |—]|5 1032 176 |. 
0 08 06 4 8 8 0 08 -0.6 0 176 —5.32 


注意 , 如 果 工 有 零 次 对 角 元 , 则 特征 问题 化 为 两 个 小 特征 问题 . 确切 地 说 , 若 e = 
0, W A(T) = MT: k, 1: E) UA(T(k 1: nk 1:n)). 若 卫 没有 零 次 对 角 元 , 则 
说 它 是 不 可 约 的 . 

令 宁 为 算法 8.3.1 所 得 到 的 T 之 计算 值 . 可 以 证 明 全 = (A + E)Q, 其 中 
Ô 是 精确 的 正 交 矩阵, 而 E 是 满足 Ell < cAr ROSE, 这 里 c 是 小 常 
数 . 见 Wilkinson(1965, 297 BL). 


8.3.2 ”三 对 角 分 解 的 性 质 


我 们 来 证 明 关于 三 对 角 分 解 的 两 个 定理 , 它们 在 之 后 将 起 关键 的 作用 . 第 一 个 
定理 将 (8.3.1) 和 某 一 Krylov ER QR 分 解 联系 起 来 , Krylov 矩阵 有 形式 
K(A,v,k) = v, Av,---,A**v], AER", veR". 
定理 8.3.1 # QTAQ = T AHERE A c R” 的 三 对 角 分 解 ， 则 
QTK(A,Q(,1,n) = R XE f AERE. $REFH NT 不 可 约 . XE R Y 
JR k AE rek 0 的 最 小 指标 , Wk WR tek- 为 零 的 最 小 指标 . 见 定理 743. 
证 明 ER, Hg = Q(:,1), 则 
Q" K(A,QC,),n) 
= [QT a, (QT AQ)(Qa).--- .(Q" AQ)" (Q*a)] 
—[e,Tei:,T"ejJ-R 
RL-AJNUBEE, 满足 ri1 = 1 EX i=2:n WA ra = tats tua 显然 , FR 
非 奇异 . 则 T 不 可 约 . HR ARH r 是 其 第 一 个 零 对 角 元 , Wk 2 2 B teri 是 
第 一 个 零 次 对 角 元 . m 
定理 8.3.2 ( 隐 式 Q 定 理 ) MEQ — [qi,… ,qn] f£ V = [v1,… ,Vn| RER 
4 BARA QTAQ =T fo VIAV=S AZM ABE, 其 中 ACR™” 是 对 称 敌阵 . 
4 k 表示 使 tk+1,k = 0 的 最 小 正 整 数 . HET 不 可 约 时 k=n. € vı = 4%; 则 
v, = tq, E [til = [si iil 4 —2:k. $9 EXP k « n, 则 Sk+1,k = 0. H 7.4.2. 
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证 明 UE W = QTV JHERSIW(,1) L(;1) = e1 HWTTW 
= S. 由 定理 8.3.1, WT K(T, ei, k) 是 列 满 秩 的 上 三 角形 矩阵 . 但 K(T, ei k) 是 上 
三 角形 矩阵 , 这 样 , HE QR 分解 “本 质 上 ?” 的 唯一 性 知 

W(;1:k)-— I,(,1: k)diag(+1,--- , 1). 

这 是 说 对 i—1:k,Q(G, i = 4VG, 5). EF tias = Qi - DT AQ(G) 和 sii = 
V(,i-1)TAV(,i),.i—1:n—1, 关于 次 对 角 元 素 之 论述 由 此 而 知 . 口 
8.3.3 QR KASH ABE 

我 们 快速 地 叙述 关于 QR RMS RARE 4 个 事实 . 完整 的 证 明 是 很 简 
单 的 . 

1. 保持 形式 . # T = QR ENR] AE T eR” 的 QR 分 解 , W QA 
下 带宽 为 1, 及 有 上 带宽 为 2, 而 且 

T, = RQ =Q"(QR)Q=Q'TQ 

{BEE RR = OY S AREE. 

2. 位 移 . SER HT -sI — QR 是 QR 分 解 , 则 

T, =QR+sI - Q'TQ 

也 是 三 对 角 和 矩阵 . 这 称 为 位 移 QR 步 . 

3. 完全 位 移 . HT 是 不 可 约 的 , 则 无 论 s 值 为 多 少 , T -sI 的 前 — 1 WR 
性 无 关 . 这 样 , 如 果 s c A(T) H. 

QR-T —sI 

是 QR 4H, W ron 20 HT, = RQ + sI 的 最 后 一 列 等 于 $1, (, n) = ses. 

4. 运算 量 . E T eR" 是 三 对 角 和 矩阵 , 则 它 的 QR 分 解 可 由 下 列 n 一 1 个 
Givens 旋转 变换 计算 得 到 : 

fork —1:n-—1 

[c, s] = givens(txk, tk+1,k) 
m = min(k + 2,n} 


T 
T(k:k+1,k:m) = | e | T(k:k+1,k:m) 
end 
这 需 O(n) 个 flop. SRR RE RERE, 则 需 O(n?) 个 flop. 
8.3.4” 显 式 单位 称 QR BK 


如 果 s 是 一 个 很 好 的 近似 特征 值 , 则 我 们 期 望 用 位 移 s 进行 一 次 QR 迁 代 后 
(n,n — 1) 元 会 很 小 . 这 就 是 下 列 迭 代 中 的 基本 思想 ;: 

T= U9 AUVo (三 对 和 角 ) 

for k-0,1,-- 


AE 3S, (8.3.2) 
T-uI UR (QR 分 解 ) 
T = RU + ul 
end 
如 果 
01 by 0 
bi az 
T= 
. b. 
0 e bni an 
则 位 移 的 一 个 合理 选择 是 y = an. 然而 一 个 更 有 效 的 选择 是 用 
. — cn) = an—1 bui 
T(n—-1:n,n—1:n) Pe " | 


靠近 an 的 特征 值 作 位 移 . RA Wilkinson 4$, 它 由 

p= ay + d—sign(d),/d? 4-52 , (8.3.3) 
给 出 , 其 中 d = (an41 — dn) /2. Wilkinson(1986b) 已 证 明 (8.3.2) 对 上 述 两 种 位 移 策 
略 都 是 立方 收敛 的 , 但 给 出 了 为 什么 偏好 (8.3.3) 的 直观 理由 . 
8.3.5 Katies 


RY BRIG RES T — pl 就 能 实现 从 工 8] T, = RU + pI = UTTU 的 变 
换 , 这 在 位 移 比 某 个 a; 大 很 多 时 有 优势 . 令 c = cos(0) 和 s = sin(b) 使 得 


Eg pe 


如 果 我 们 令 Gi, 一 Gil, 2,0) 则 Ciel = Ue, HR 


x x + 0 0 0 

x x x 00 0 

T —GITG, = +x x x 0 0 
0 0 x x x 0 

0 0 0 x x x 

0.0 0 0 x x 


这 样 ， 只 要 我 们 能 计算 旋转 矩阵 Ga,… , Gn_1, 使 得 车 Z = GiG- Gni, JU 
Ze, = Gie, = Ue, 和 2ZTTZ 是 三 对 角 和 矩阵 , 那么 就 可 以 应 用 隐 式 Q 定理 . 

注意 , 只 要 我 们 使 每 个 Gi 是 G; = GG,i4+1,6),i=2:n-1 W ZAU K 
第 一 列 是 相等 的 , 而 这 种 形状 的 矩阵 G 可 用 来 将 多 余 的 非 零 元 素 “+” 逐 出 矩阵 
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GTITG1: 


G3 G3 


oo oO X X 
oo Oo x X x 


Ga4 Gs 


Ox X x Ooo-d xx x 
x x X oo Ox X X 4+ o 
x cL ooo X Xooco 
oooxx Oo oc o0 XK x 
x x x Oo OX X x oo 


© OX X X 


c OO x x 
20x X X o OLX x x SS 


cO Oc X X X o SO xX X x o 
x x X coo X X x OD 

x x ooo X X X - oo 
x x CoO Xx SO ooo 


0 + x 0 0 0 x 
这 样 , 由 隐 式 Q 定理 可 得 出 , PRIER TENSE ZT TZ 和 
用 显 式 方法 获得 的 三 对 角 和 矩阵 工 本 质 上 是 一 样 的 . (我 们 可 以 假定 所 有 涉及 的 三 对 
角 和 矩阵 都 是 不 可 约 的 , 否则 问题 可 以 分 解 ). 
注意 , 在 逐 零 过 程 的 每 一 步 , 只 有 一 个 非 零 元 在 三 对 角 线 之 外 , 这 个 非 零 元 在 
BE T — G{TG, 下 向 矩阵 右 下 方 移动 , 如 下 所 示 : 


T 


1 0 0 0 ak by zy 0 1 0 0 0 
0 ec s 0 bk Gp b, 0 0 e s 0 
0 -s c 0 Zk bp aq bg 0 -s c 0 
0 00 1 0 0 b, a 0 001 
ak by 0 0 

_ | oe ap bp Zp 

(| O b, a bg 


0 zp b, Gr 

这 里 (p,q,r) = (k-- 1, k--2, k-- 3). —H. c Al s 由 等 式 brs + zre — 0 确定 之 后 , 此 
修正 大 约 需 26 个 flop. 总 之 , 我 们 有 下 列 算法 . 

算法 8.3.2 ( 带 Wilkinson 位 移 的 隐 式 对 称 QR 法 ) ”给 定 一 不 可 约 的 对 称 
=x¢ AM TER”, 本 算法 用 Z'TZ ABT, RP Z= Gi- Gn- 是 Givens 
REZ RR, 具有 性 质 ZT (T UI) 为 上 三 角形 和 矩阵 以 及 几 是 全 的 右 下 角 2x2 
主子 短 阵 的 特征 值 并 且 最 靠近 thn. 

d= (tr—1,n—1 一 tnn)/2 


H= tan 一 t n-1/(d + sign(d),/ d? + tZ 1) 


z =t H 
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z= tai 
fork —1:n-—1 l 
[c, s] = givens(z, z) 
T = GITG,, HAG. = G(k, k +1,6) 
if k «n—i 
T = Ék+1,k 
Z = tk+2,k 
end 


end 


这 个 算法 需 大 约 30n 个 flop 以 及 求 n 个 平方 根 . 若 一 给 定 正 交 矩阵 Q R QG- 
Gn_1 覆盖 , 则 需 额外 的 6n? 个 flop. 当然 , 在 实际 编程 中 , SIAE T 应 储存 在 
两 个 n 维 向 量 中 而 不 是 nx n 维 数组 中 . 

” 例 8.3.2 如 果 把 算法 8.3.2 应 用 到 


NAHE ABET 为 
0.5000 0.5916 0 0 
0.5916 1.785 0.1808 0 
0 0.1808 3.7140 0.000 004 4 
0 0 0.000 004 4 4.002 497 
算法 8.3.2 是 对 称 QR 算法 (计算 稠密 对 称 和 矩阵 的 Schur 分 解 之 标准 方法 ) 的 
基础 . 
算法 8.3.3 (对 称 QR 算法 ) AeA A € 了 "xm 和 一 个 比 合 入 误差 单 
位 大 的 容许 误差 tol. 本 算法 计算 一 个 近似 对 称 Schur 分 解 QT AQ = D. A 用 三 对 
角 分 解 所 发 盖 . 
ida 8.3.1, 计算 三 对 角 化 
= (PP 2) TA(P,:…. ,Pn 2). 
A D=T, pon Q, RB] Q = P, P4 2. X, 5.1.6 3$. 
until g — n 
*bi—1:n—-1,4- dia fa diui 为 零 . X 
[diii] = |diinil < tol(idi] + dicun l) 
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找到 最 大 g 和 最 小 p, RAE 


Dii 0 0 p 
D= Q Dog 0 n-p-q 
0 0 D33 q 
P n-p-q q 
则 Das ARARE Do 是 不 可 约 的 . 


if q<n 
对 Daz 应 用 算法 8.3.2: 
D = diag(Ip, Z, Ia)" D diag(Ip, Z, Iq) 
HEER Q, 则 Q =Q diag(Ip, Z, Iq). 
end 
end 
如 果 需 求 出 Q, 这 一 算法 约 需 On? 个 flop, 否则 约 需 En? 个 flop. 
例 8.3.3 ”车 把 算法 8.8.8 EATEN ABE 
1200 
2340 
045 6 
0067 
在 执行 算法 8.3.3 时 , 次 对 角 元 素 变化 如 下 : 


A= 


D 
a 


a21 a32 a43 
1 1.6817 3.2344 0.8649 
2 1.6142 2.5755 0.0006 
3 1.6245 1.6965 io-18 
4 1.6245 1.6965 收敛 
5 1.5117 0.0150 
6 1.1195 10-9 
7 0.7071 收敛 
8 收敛 


A 


最 后 , 我 们 得 到 ACA) = (—2.4848, 0.7046, 4.9366, 12.831). 

由 算法 8.3.3 得 到 的 计算 特征 值 A; 是 4 附近 的 一 个 矩阵 的 精确 特征 值 , 即 
QT(A + E)Q, = diag(;), 其 中 QTQ = I A Bllz ~ 吕 All2. 由 推论 8.1.6 RI 
知道 , 在 | 一 入 | s ull Allo 意义 下 每 个 Xi 的 绝对 误差 很 小 . 如 果 Q [à à. 
是 所 计算 的 正 交 特 征 向 量 组 成 的 矩阵 , 则 g RE OREO, 和 谱 中 其 余 元 素 的 
分 离 度 . 见 定理 8.1.12. “ 

如 果 需 要 计算 所 有 的 特征 值 和 部 分 特征 向 量 , 则 算法 8.3.3 因 不 累积 Q 而 变 
的 更 廉价 . 所 需 的 特征 向 量 改 由 T RARR. 见 8.2.2 节 . 通常 只 一 步 就 能 有 
效 地 得 到 一 个 好 的 特征 向 量 , 即使 初始 向 量 是 随机 给 的 . 
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如 果 仅 需 少量 几 个 特征 值 和 特征 向 量 , 则 在 8.5 节 中 有 一 些 合适 的 专门 方法 . 
有 趣 的 是 ，Rayleigh MARAR OR 算法 之 间 有 一 种 联系 . 设 我 们 应 用 后 
AFH ASE T ce RU, 取 位 移 o = elTe, = tnn, 其 中 e, = nen). Æ 
T -cI = QR, W T = RQ +01. KER (T —o1)Q = R? 得 到 
(T — ol)q,, = Tnn€n, 
其 中 q BIE Q 的 最 后 一 列 ， 于 是 , 如 果 我 们 应 用 (8.2.6), BO zo = en, M 
T1 = qn.: 


8.8.6 用 Ritz 加 速 的 正 交 迭代 


回忆 8.2.4 节 可 知 , 正 交 迭代 包括 一 个 矩阵 乘积 和 一 个 QR. 分 解 : 
Zk = AQ, 4 
Q, Ri = Ze (QR 分 解 ) 
定理 8.1.14 说 明 , 通过 令 S= S, =O, AQ, 能 使 || AQ, — Q,SI e 极 小 化 . 如 果 
UTS,U, = Dy 是 S, c R'** 的 Schur 分 解 且 Qr = QU r, W 
I AQ, - Qi Dslls = AQ, — Q.Sellr, 
这 表明 , 从 余 量 极 小 的 观点 来 看 ,& 步 后 Q; 的 列 向 量 是 最 优 基 . 这 就 定义 了 Ritz 加 


ii: 
Qo E R"*? 满足 Qu Qo = I; 
for k 21,2,.-- 
Zk = AQk-i 
OrRe = Zr (QR 分 解 ) 
Sp = QF A 
UPS,U, = Dy (Schur 分 解 ) 
Qr = QUU. 
end 
能 够 证 明 , 如 果 
D, = diag(6(9 ,. .. 6), ie? >- > ja), 
则 


k 


Arti , i-1l:r 


|f? - X(4)| = 0 ( ^ 


回顾 定理 8.2.2 n, O, AQ, 的 特征 什 以 速度 | 和 +41/ 和 |* 收敛 . 这 样 , Ritz 值 以 更 快 
BOXE BEMCSIC, 详 见 Stewart(1969). 
例 8.3.4 2 AD SER (8.3.6) 于 


100 1 1 1 1 0 

1 99 1 1 0 1 
A= = 

1 1 21|' € 0 0 | 

1 111 0 0 
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则 


dist{D2(A), Qk} 
0.2 x 1071 


dist(D2(A), Qk} 
3 0.3 x 1079 
0.8 x 10-8 


显然 , KAR BA (2/99)*. 


5) 题 


8.3.1 HA BRON AER T 的 特征 值 . 证 明 , 若 和 的 代数 重 数 为 k, 则 的 次 对 角 
元 素 至 少 有 上 一 1 DAE. 

8.8.0 设 4 为 对 称 和 矩阵 ， 且 有 带宽 p. WE, 若 我 们 执行 带 位 移 QR 步 4- HT = 
QR,A = RQ + ul, Dl] A 有 带宽 p. 

8.3.3 设 BcR^*^ 是 具有 对 角 元 d(1: n) 和 超 对 角 元 f(1 : n — 1) WEA. 
陈述 并 证 明定 理 8.3.1 的 奇异 值 形式 . 

8.3.4 $ A= | . 7 | HKEE, 假设 我 们 执行 如 下 的 带 位 移 QR 2b A — zI = 


zZ 
4 > _|w T 
UR,A= RU+ ES EA Dm 
之 


@=wt+27 (2 — z)/[(w — 2}? tz, 
Z — z — a^ (w-z)f((w-2zy +27], 
Z= a? [[(w-— zy +2". 
8.3.5 W A c C^*^ Jj Hermit 矩阵 , 说 明 怎样 构造 西 矩 阵 Q 使 得 QAQ = T AX 
对 称 三 对 角 和 矩阵 . 
8.3.6 证 明基 A = B+iC E Hermit 矩阵 , 则 M = | » u | HARE. RAR 
出 4 Al M 的 特征 值 与 特征 向 量 之 间 的 关系 . 
8.3.7 对 于 A 储存 在 两 个 n 维 向 量 中 的 情形 , 重新 写 出 算法 8.2.2. 并 说 明 算法 的 计算 
t. 
8.88 4 A = S+ ouu, HH S c R^" 是 反对 称 矩阵 (AT = —A),u € R” 为 单 
位 2 范 数 向 量 , Ho CR. 说 明 怎样 计算 正 交 矩阵 Q 使 得 QT AQ ASMA Qu = 
InG; 1) = ej. 


本 节 注 释 与 参考 文献 


对 称 和 矩阵 三 对 角 化 的 讨论 可 见 : 

R. S. Martin and J. H. Wilkinson (1968). *Householder's Tridiagonalization of a Symmetric 
Matrix,” Numer. Math. 11, 181-195. See also Wilkinson and Reinsch (1971, pp. 212- 
326). 
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H. R. Schwartz (1968). “Tridiagonalization of a Symmetric Band Matrix," Numer. Math. 
12, 231-241. See also Wilkinson and Reinsch (1971, pp. 273-283). 

N. E. Gibbs and W. G. Poole, Jr. (1974). “Tridiagonalization by Permutations,” Comm. 
ACM 17, 20-24. 

前 两 篇 参考 文献 含有 Algol 算法 . 对 于 显 式 和 隐 式 三 对 角 QR 算法 的 Algol 程序 见于 : 

H. Bowdler, R. S. Martin, C. Reinsch, and J. H. Wilkinson (1968). “The QR and QL 
Algorithms for Symmetric Matrices,” Numer. Math. 11, 293-306. See also Wilkinson 
and Reinsch (1971, pp. 227-240). 

A. Dubrulle, R. S. Martin, and J. H. Wilkinson (1968). “The Implicit QL Algorithm," Numer. 
Math. 12, 377-383. 也 见 Wilkinson and Reinsch (1971, 241—248 页 ). 

“QL” 算法 等 同 于 QR 算法 , RT eb PERE T — AT 分 解 成 一 个 正 交 矩阵 和 一 个 下 三 角 
矩阵 外 . 含有 这 些 方法 的 其 他 文章 包 插 有 : 

G. W. Stewart (1970). “Incorporating Original Shifts into the QR Algorithm for Symmetric 
Tridiagonal Matrices,” Comm. ACM 13, 365-367. 

A. Dubrulle (1970). “A Short Note on the Implicit QL Algorithm for Symmetric Tridiagonal 
Matrices,” Numer. Math. 15, 450. 
推广 到 Hermit 矩阵 和 反对 称 矩 阵 的 讨论 可 见 : 

D. Mueller (1966). “Householder’s Method for Complex Matrices and Hermitian Matri- 
ces,” Numer, Math. 8, 72-92. 

R. C. Ward and L. J. Gray (1978). “Eigensystem Computation for Skew-Symmetric and A 
Class of Symmetric Matrices,” ACM Trans. Math. Soft. 4, 278-285. 
算法 8.2.3 的 收敛 性 质 在 Lawson and Hanson(1974, 附录 B) 中 有 详 述 , 也 可 见 ; 

J. H. Wilkinson (1968b). “Global Convergence of Tridiagonal QR Algorithm With Origin 
Shifts,” Lin. Alg. and Its Applic. I, 409-420. 

T. J. Dekker and J. F. Traub (1971). “The Shifted QR Algorithm for Hermitian Matrices” , 
Lin. Alg. and Its Applic. 4, 137-154. 

W. Hoffman and B. N. Parlett (1978). “A New Proof of Global Convergence for the Tridi- 
agonal QL Algorithm”, SIAMJ. Num. Anal. 15, 929-937. 

S. Batterson (1994). “Convergence of the Francis Shifted QR Algorithm on Normal Matri- 
ces”, Lin. Alg. and Its Applic. 207, 181—195. 

«53277 ERIT EES HR ABT RT IL: 

C. P. Huang (1981).“On the Convergence of the QR Algorithm with Origin Shifts for Normal 
Matrices" , IMAJ. Num. Anal. 1, 127-133. 

有 关 三 对 角 QR 算法 的 位 移 的 有 趣 论文 包括 : 

F. L. Bauer and C. Reinsch (1968). “Rational QR Transformations with Newton Shift for 
Symmetric Tridiagonal Matrices" , Numer. Math. 11, 264-272. See also Wilkinson and 
Reinsch (1971, pp. 257-265). 

G. W. Stewart (1970). “Incorporating Origin Shifts into the QR Algorithm for Symmetric 
Tridiagonal Matrices" , Comm. Assoc. Comp. Mach. 13, 365-367. 
针对 本 节 算 法 的 一 些 并 行 计算 的 可 行 性 讨论 于 : 
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S. Lo, B. Philippe, and A. Sameh (1987). “A Multiprocessor Algorithm for the Symmetric 
Tridiagonal Eigenvalue Problem" , SIAM J. Sci. and Stat. Comp. 8, 8155-8165. 

H. Y. Chang and M. Salama (1988). “A Parallel Householder Tridiagonalization Strategy 
Using Scattered Square Decomposition” , Parallel Computing 6, 297-312. 

另 一 种 计算 特征 值 的 特定 子 集 的 方法 是 利用 智能 QR 算法 . 在 该 方法 中 , 位 移 用 Newton 

方法 决定 . XB "9| S " BAF RRE, XI. 

C. Reinsch and F. L. Bauer (1968). “Rational QR Transformation with Newton’s Shift for 
Symmetric Tridiagonal Matrices" , Numer Math, 11, 264-272. See also Wilkinson and 
Reinsch (1971, pp. 257-265). 
讨论 带 状 和 矩阵 的 对 称 QR 算法 的 文章 包括 : 

R. S. Martin and J. H. Wilkinson (1967). “Solution of Symmetric and Unsymmetric Band 
Equations and the Calculation of Eigenvectors of Band Matrices” , Numer. Math. 9, 
279-301. See also Wilkinson and Reinsch (1971, pp. 70-92). 

R. S. Martin, C. Reinsch, and J. H. Wilkinson (1970). “The QR Algorithm for Band 
Symmetric Matrices" , Numer. Math. 16, 85-92. See also Wilkinson and Reinsch (1971, 
pp. 266-272). 


8.4 Jacobi 方法 


求 对 称 特征 值 问题 的 Jacobi 方法 近来 引起 人 们 注意 , 是 因为 它们 本 质 上 是 并 
行 的 . 它们 做 法 如 下 : 进行 一 系列 正 交 相 似 变换 不 断 校 正 4 一 QTAQ, 使 得 每 个 
新 4, 虽然 是 满 的 , 但 比 前 一 个 4“ 更 对 角 化 ”. 最 终 , 非 对 角 线 元 素 都 小 到 可 以 认 
为 是 零 . 

通过 对 Jacobi 方法 内 在 的 基本 思想 进行 观察 后 , 我 们 提出 一 种 并 行 Jacobi 过 程 . 


8.4.1 Jacobi 思想 
Jacobi 方法 的 思想 是 逐步 地 减 小 量 


即 非 对 角 元 素 的 “ 范 数 ”. 实现 此 目的 的 工具 是 旋转 变换 : 


0 e c HM S + 0 p 

J(p,q,0) = : : ul 1 : E 
0 E —8 € Cc I. 0 q 
0 0 1 
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我 们 称 其 为 Jacobi 旋转 变换 . Jacobi 旋转 和 Givens 旋转 没什么 不 同 , 见 5.1.8 节 . 
在 本 节 改 用 名 字 是 为 了 纪念 方法 的 发 明 者 . 

MEAT Jacobi 特征 值 求解 过 程 的 基本 步骤 有 : (1) 选择 满足 1 < p < gq < n WHB 
标 对 (p,q); (2) 计算 一 个 余弦 -正弦 对 (c, s) 使 得 


T 
a ela] ew 
AX f85BEE; (3) 计算 B = JT AJ, 其 中 J = J(p,¢,0), 并 覆盖 A. AIER B 
和 A 除了 p 和 g 这 两 行 两 列 外 均 相 等 . 而 且 , Frobenius 范 数 在 正 交 变换 下 不 变 ， 
我 们 有 
app + Qaa + 2a7, = bzp 十 bza + 2054 = bop + bos: 
这 样 . 
| of (B) = |B} — Y 03, 
i=1 


= Ale — S203, + (a2, + a2, — 02, — 82) (8.12) 
i=1 
= off(A)? — 2a2,. 
在 此 意义 下 , 每 一 个 Jacobi 步 后 A 更 靠近 对 角 型 . 
在 我 们 讨论 怎样 选取 下 标 对 (p, 9) 前 , 让 我 们 看 看 (p,q) 子 问题 的 实际 计算 过 
程 . 


8.4.2 2x2 的 对 称 Schur 分 解 


使 (8.4.1) 对 角 化 意味 着 
0 = by, = apal? — s?) + (app — aqq)cs. (8.4.3) 
Ë ap = 0, 则 我 们 只 要 设 (c, s) = (1,0). 否则 定义 


Qog — à 
p= PP B t-s[c. 
pg 


由 (8.4.3) 得 到 = tan(0) 是 二 次 方程 如 十 27t 一 1 = 0 之 解 . 结果 发 现 , 选择 两 根 
tart Vite? 中 较 小 的 一 个 是 重要 的 , 而 c 和 s 可 由 公式 
c=1/YV1+t?, s=te 
得 到 . 选择 t 为 两 根 中 较 小 的 一 个 可 确保 |0| < 7. 且 使 B 和 A 之 差 的 范 数 最 小 ， 
因为 a 
IB- Al — 4(1 — e) X (a, + a2.) + 205, /c°. 
izpq 

我 们 总 结 2 x 2 58g PEUT. 

算法 8.4.1 给 定 一 个 n x n HEE A 以 及 整数 p fog, 满足 1 <p < 
q € n, 这 一 算法 计算 的 余弦 -正弦 对 (c,s) LAH B= JI(p, 9,0)" AJ(p,q,0), Jl 


bpg = bap = 0. 
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function: [c, s]=sym. schur2(A, p,q) 


if A(p,q) #0 
T = (A(q.q) — AQ, p))/(2A(p, q)) 
if 720 
t=1/(r + VI +72); 
else 
t= ~1/(-r + V1 +7?); 
end 
c=1/vV1 +t 
s=te 
else 
c=1 
s=0 
end 


8.4.3 ”经 典 Jacobi 算法 


如 我 们 上 面 所 说 , 解决 (p,9) 子 问 题 , 只 改变 p 和 9 这 两 行 两 列 , — Bsym. 
schur2 决 定 了 2x2 的 旋转 矩阵 , 那么 若 充分 利用 对 称 性 , 则 用 J(p, q, 0)" AJ(p, 9,9) 


修正 A 只 需 6n 个 Hop. 


我 们 怎样 选择 指标 p 和 q WE? 从 使 (8.4.2) 中 的 减 量 of(4) 极 小 的 观点 看 , 有 
理由 选择 (p,q) 使 a2, MK, 这 就 是 经 典 Jacobi 算法 的 基础 . 

算法 8.4.2 (经 典 Jacobi) Hza A cR” 和 容许 误差 tol>0, 本 
算法 用 VTAV AŽ A, 其 中 VV 为 正 交 矩 阵 且 of(Y AV) < toll Al». 


V = In;eps = tol|| A|| r 

while off (A) > eps 
选择 (p,q) 使 Japa] = max aij 
(c, s) = sym.schur2(A, p,q) 
A= J(p,9,9)" AJ(p, q, 0) 
V —VJ(p,q, 0) 


end 


由 于 Jap) 是 最 大 的 非 对 角 线 元 素 . of(4)? < N(a2, + o2,), 其 中 N = n(n - 0/2. 


从 (8.4.2) 可 得 出 


off(B)? < (1 - x) off(A)?. 
由 推导 , 若 AM) 表示 经 k 步 Jacobi 更 新 后 的 A, 则 


k 
off AQ? < (1 一 x) off (A)?, 
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这 证 明了 经 典 Jacobi 算法 以 线性 速度 收敛 . 

然而 , 该 方法 的 渐 近 收敛 速度 比 线性 的 要 好 得 多 . Schonhage(1964) 和 van Kem- 
pen(1966) 证 明了 : RÆ k 足够 大 , 就 有 常数 c 使 得 

off(AK+N)) < c. off( A*)?, 

即 二 次 收敛 Henrici(1958) 的 较 早 论文 就 针对 A 有 不 同 特征 值 的 特殊 情形 建立 了 
相同 的 结果 . 在 Jacobi 迭代 的 收敛 理论 中 , 条 件 |9| < r/4 是 很 关键 的 ， 此 不 等 
式 加 上 其 他 条 件 就 排除 了 几乎 收敛 的 对 角 元 之 “相互 交换 ”的 可 能 性 ， 这 一 点 可 
以 从 由 等 式 (8.4.1) 所 得 到 的 公式 bpp = app — 如 pg 和 baq = agg + 如 pg 以 及 定义 
t = sin(0)/ cos(0) 中 看 出 . 

习惯 上 称 N 次 Jacobi 选 代为 一 次 扫描 . 这 样 , 在 足够 多 步 迭 代 后 , 只 要 在 每 
步 扫描 后 考查 of( 4), 就 能 观察 到 算法 的 二 次 收敛 性 . 


例 8.4.1 应 用 经 典 Jacobi Š F 
1 


A= 


me WwW No oH 
e 
LA 
e 


1 
1 
1 


我 们 有 


O(off (A)) 


没有 严格 的 理论 使 人 们 预测 出 为 获得 of(4) 中 特定 的 减 量 所 需 扫描 的 次 数 . 
然而 , Brent and Luk(1985) 已 赁 经 验 指出 扫 措 次 数 与 log(n) 成 比例 , 现实 情形 似乎 
也 如 此 . 

8.4.4 ” 行 循环 算法 . 

经 典 Jacobi 方法 的 麻烦 是 每 次 校正 要 需 O(n) 个 flop 算 但 选取 最 优 (p,q) 却 
需 O(n?) 个 flop. 解决 此 不 平衡 的 一 条 途径 是 将 变换 的 顺序 固定 下 来 . 一 种 合理 的 
选择 是 逐 行 对 每 个 非 对 角 元 素 进行 变换 . 例 , 车 n = 4, 我 们 作 如 下 循环 : 

(p,q) = (1,2), (1,3), (1,4), (2,8), (2, 4), (3,4), (1, 2),.… 
这 种 排序 格式 称 为 按 行 循环 , 它 产 生 下 列 算法 . 

算法 8.4.3 (循环 Jacobi) BEAM A CR ™" 和 容许 误差 tol> 0, 这 

一 算法 用 VT AV A & A, 其 中 V 是 正 交 矩阵 且 of(V TAV) < toll] Allr. 
V = In 
eps = tol||Allr 
while off(A) > eps 
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for p=1:n—1 
forg=pt+i:n 
(c, s) = sym.schur2(A, p,q) 
A = J(p, q, 0)? AJ(p, q,0) 
V —VJ(p,q,0) 
end 
end 
end 
循环 Jacobi BIW. (JL Wilkinson(1962) 和 van Kempen(1966).) 然而 , 由 于 
它 不 需 进 行 非 对 角 线 搜索 , 因此 比 Jacobi 原始 算法 要 快 得 多 . 
例 8.4.2 £4083 Jacobi 方法 应 用 到 例 8.4.1 中 的 矩阵 ,我 们 有 


O(off(A)} 


8.4.5 ”误差 分 析 


用 Wilkinson 误差 分 析 , 可 以 证 明 , 车 在 算法 8.4.3 中 需 r 次 扫描 , 则 对 A 的 
特征 值 As 的 某 个 排列 , 计算 的 d; 满足 


Dadi — xy? < (6+ k-)| Al zu. 
i=l 
参数 kr 温和 地 依赖 于 r. 

尽管 循环 Jacobi 方法 二 次 收敛 , 一 般 来 说 与 对 称 QR 算法 无 法 相 比 . 例如 , 35 
我 们 只 算 flop 数 , 则 2 次 Jacobi 扫描 粗略 等 于 带 有 变换 累积 的 QR 算法 进行 约 化 
对 角 型 的 全 部 计算 量 . 但 是 , 在 ” 较 小 的 时 候 差 别 就 不 是 很 明显 . 而 且 , 若 一 个 近 
ETE EME V. 是 已 知 的 , 则 VT AV 近似 于 对 角 和 矩阵 , 此 情形 适合 应 用 Jacobi 
方法 而 不 是 QR 方法 . 

Jacobi 方法 的 另 一 个 有 趣 之 处 在 于 当 A 为 正定 矩阵 时 , 它 计 算 的 特征 值 相对 
误差 较 小 . 为 了 解 这 一 点 , 注意 到 以 上 引述 的 Wilkinson 分 析 和 8.1 节 的 扰动 理论 
一 起 确保 计算 的 特征 值 Ay 2e > An 满足 

Ai A) " "m ~ ulle < uk(A). 
然而 , 由 Demmel and Veselit(1992) 提出 的 修正 的 分 量 形式 的 误差 分 析 表 明 , 在 正 


定 情形 有 l 
| Â; - (A0) 


XA) ^ uk2(D7'AD~*), (8.4.4) 


8.4 Jacobi 方法 385 


其 中 D = diag(,/aii,:-- ,Vann). 且 一 般 来 说 uk2(D ! AD) 是 一 个 比 uk2(A) 更 
小 的 近似 界 . 建立 这 一 结论 的 关键 是 一 些 新 的 扰动 理论 和 如 下 事实 : 若 A 是 由 
当前 矩阵 A. 所 获得 的 计算 Jacobi 校正 矩阵 , 则 A, 的 特征 值 在 (8.4.4) 意义 下 
相对 来 说 更 接近 4。 的 特征 值 . 为 使 整个 事情 合乎 实际 , 停止 准则 不 基于 f(A) 与 
ullAlls 之 比值 而 基于 每 个 |aiy| 和 u 2525; 之 比值 . 这 一 工作 是 具有 代表 性 的 关于 
高 精度 算法 的 新 的 研究 , 它 基 于 精细 的 分 量 形式 的 误差 分 析 . 见 Mathias(1995). 


8.4.6 “并行 Jacobi 算法 


求解 对 称 特征 问题 的 QR. 算法 和 Jacobi 算法 之 间 最 有 趣 的 区 别 是 后 者 的 并 行 
本 性 . 为 表明 这 点 , B n = 4 且 把 6 个子 问题 归 为 如 下 三 个 旋转 集 : 
rot.set(1) = {(1, 2), (3, 4)}, 
rot.set(2) = {(1, 3), (2, 4)}, 
rot.set(3) = {(1, 4), (2, 3)). 
注意 到 三 个 旋转 集中 每 个 集 的 所 有 旋转 均 是 “ 非 冲突 的 ”. 即 子 问题 (1, 2) 和 (3, 4) 
能 并 行 处 理 . 与 子 问题 (1, 3) 和 (2, 4) 类 似 , 子 问 题 (1, 4) 和 (2, 3) 也 能 并 行 处 理 . 
总 之 , 我 们 说 
(4,41), (62,32). ,NIN), N= m- Dn/2 
是 集 {EDIL « i «3j « n) 的 并 行 排序 , 只 要 对 s = 1: n — L, 旋转 集 rot. set(S) 
={(ip, jr) :r =1tn(s—1)/2:ns/2} 由 非 冲突 的 旋转 组 成 . 这 需要 n 为 偶数 , 本 节 
里 我 们 都 假定 这 一 点 ，(n 为 奇数 时 , 我 们 在 4 的 边 上 增加 一 行 和 一 列 零 元 素 , H 
在 解 含 有 这 些 添加 的 零 元 素 子 问 题 时 十 分 小 心 就 能 处 理 .) 
一 种 产生 并 行 排序 方法 是 想象 一 场 有 n 个 选手 的 象棋 比赛 , 任 一 个 选手 必须 
与 其 他 每 一 个 选手 各 赛 一 场 . 在 n= 8 的 情形 , 需 7“ 轮 ”, 在 第 一 轮 中 , 我 们 有 下 
列 四 场 比赛 : 


rot. set 

. set(1)={(1,2), (3,4),(5,6), (7,8) 

2 [4] 6/8) 

即 1 对 2, 3 对 4 等 等 .为 安排 第 2 到 7 轮 比 赛 , 1 号 选手 不 动 , 其 他 选手 依次 移 位 


rot. Set 
E (2)={(1,4), (2,6),(3,8), (5,7)) 
[4|e[8]7. 
rot. set 
. Set (3)— (1,6), (4,8),(2,7), (3,5)) 
[e[8[7]|5. 
a[e[4|2. vot. set(4)= 
pgg t. set(4)={(1,8), (6,7),(4,5), (2,3)} 
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17|51312| rot. set(5)={(1,7), (5,8),(3,6), (2,4)} 


BED 
rot. set(6)- (1,5), (8,7), (28). (46)) 
falze] rot. set(7)={(1,3), (2,3),(4,7), (6,8)} 


我 们 能 用 一 对 整数 向 量 top(1 : n/2) 和 bot(1 : n/2) 来 将 这 些 操作 进行 编码 .在 一 
给 定 轮 二 次 中 , top(k) 与 bot(k) 对 阵 , k= 1:n/2. 下 一 轮 的 对 阵 安排 可 通过 对 top 
和 bot 作 如 下 校正 来 获得 ; 


function: [new.top, new.bot| = music(top, bot, n) 


m= n/2 
fork —1:m 
ifk=1 
new.top(1) = 1 
elseif k = 2 
new.top(k) = bot(1) 
elseif k > 2 
new.top(k) = top(k — 1) 
end 
ifk=m 
new.bot(k) = top(k) 
else 
new.bot(k) = bot(k + 1) 
end 
end 


用 music 程序 , 我 们 获得 下 列 的 并 行 排序 Jacobi 算法 . 

算法 8.4.4 (并 行 排序 Jacobi) ”给 定 一 对 称 和 矩阵 A € R"x" 和 容许 误差 tol> 
0, 本 算法 计算 VT AV HBS A, 其 中 V EXEL of(V7 AV) < toll Al. 
假定 n 为 偶数 . 

V-—l, 

eps = toll|A|| p 

top-1:2:m;bot =2:2:n 

while off(A) » eps 

for set — 1:n—1 
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for k — 1:n/2 
p = min(top(k), bot(k)) 
q = max(top(k), bot(k)) 
(c, s) = sym.schur2(A, p,q) 
A= J(p,q,6)7 AJ(p, q, 0) 
V = VJ(p,q,0) 
end 
[top, bot] = music(top, bot, n) 
end 
end 
注意 到 循环 执行 的 是 n/2 个 独立 的 、 非 冲突 的 子 问题 . 
8.4.7 Bite 


我 们 现在 讨论 算法 8.4.4 是 怎样 用 于 一 个 p 个 处 理 器 的 环 . 为 清楚 见 , 我 们 假 
设 p =n/2. 在 任何 瞬间 , Proc(u) 包含 A 的 两 列 和 V 的 相应 列 . 例如 , Hn = 8, 
则 以 下 是 4 的 列 之 分 布 逐步 变化 的 情况 . 
Proc(1) Proc(2) Proc(3) Proc(4) 
第 - 步 : n» B4 be Pa 
第 二 步 : 4 ge Bs [ 7 
第 三 步 : [1 6 [48 [27 [B 5) 
顺序 对 表示 所 选 的 列 之 指标 . 第 一 个 指标 称 为 左 列 , 第 二 个 指标 称 为 右 列 . 这 样 , 在 
第 3 步 的 Proc(3) 中 的 左 列 和 右 列 分 别 是 2 和 7. 
注意 到 在 步 与 步 之 间 , 列 与 列 按照 music 程 序 所 隐 含 的 置换 不 断交 换 且 变换 主 
要 是 在 相 邻 的 指标 之 闻 . 在 每 一 步 , 每 个 处 理 器 解决 一 个 子 问题 . 这 包括 (a) 计算 
一 个 正 交 矩阵 Voman € R2x2, 它 求解 一 个 局 部 2 x 2 Schur 问题 , (p) 用 2x2 Veman 
校正 A 和 V 的 两 选 定 列 , (c) 送 2 x 2 Vsmau 到 所 有 别 的 处 理 器 , (d) 从 别 的 处 理 
器 接收 Vsmon 并 且 校 正 A 和 V 的 局 部 块 . 由 于 4 按 列 储存 , 校正 Vema 需要 进 
行 信息 传递 因为 他 们 影响 A 的 行 . 例如 , 在 n = 8 的 问题 第 二 步 中 , Proc(2) 必须 
接收 与 子 问题 (1, 4), (3, 8) 和 (5, 7) 有 关 的 2x2 旋转 矩阵 . 这 些 分 别 来 自 Proc(1), 
Proc(3) 和 Proc(4). 一 般 来 说 , 能 够 很 方便 地 实现 分 享 旋转 矩阵 , 只 要 通过 按 轮流 
方式 在 环 上 传递 x 2 Vsmal 矩阵 . 每 个 处 理 器 找 贝 一 份 传 来 的 2 x 2 V oman ERE 
放 在 本 地 内 存 里 , 然后 相应 校正 A 和 V 的 局 部 选 定 块 . 
算法 8.4.4 的 终止 准则 引出 了 分 布 式 内 存 环境 中 的 一 个 问题 , 因为 of(-) 的 什 
和 Al- 需要 A 的 所 有 元 素 . 然而 , 这 些 全 局 量 在 V 矩阵 轮流 坐 柱 状态 时 可 计算 . 
在 开始 进行 V 循环 之 前 , 每 个 处 理 器 都 计算 [LA] 和 of(.) 的 相应 部 分 . 将 这 些 量 
进行 轮转 且 每 一 步 将 其 读 下 , 则 它们 能 被 每 个 处 理 器 相 加 . 一 个 完整 的 循环 结束 之 
后 , 每 个 处 理 器 有 它 自己 的 备份 Alle 和 off(). 
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8.4.8 分 块 Jacobi 算法 
常 磁 到 这 样 的 情形 : 在 一 个 有 .p 个 处 理 器 (n > p) 的 机 器 上 解 一 个 对 称 特征 
值 问题 . 在 这 种 情形 , Jacobi 算法 的 分 块 形式 也 许 更 合适 . 上 面 程序 的 分 块 形式 是 
显然 的 . Rn=rN 且 我 们 对 n x n 矩阵 A 作 如 下 划分 : 
Ai cc Ain 
A= : : 
Anı … Ann 
这 里 每 个 A;; 是 7 xr RR. 在 分 块 Jacobi 算法 中 (p,q) 子 问题 包含 计算 2r x 2r 
Schur 分 解 


V pp V pg 7 App Apa V pp V pa EN D pp O 

V op V aa Ag Aqq Vap Voa 7 oO Daa 
然后 用 由 Vs 构成 的 分 块 Jacobi 旋转 矩阵 作用 于 A. 若 我 们 称 此 分 块 旋转 矩阵 为 
V, WBE 

of(V* AV)? = off(A)? — (2||-Apall® + off (App)? + off (Agg)”). 


分 块 Jacobi 方法 有 许多 有 趣 的 计算 问题 . 例如 , 有 许多 方法 去 解 这 些 子 问题 , 而 选 
择 看 来 是 很 重要 的 . 见 Bischof(1987). 


8.4.1 设 标量 y 和 矩阵 


一 起 给 定 , 需求 一 个 正 交 矩阵 


使 得 JT AJ 的 (1, D) 元 素 等 于 y. WEH, 此 要 求 导致 等 式 
(w — v)r? — 2xT + (z — y) = 9, 

其 中 > = c/s. 证 明 只 要 y 满足 ` < y SdM 此 二 次 方程 就 有 实 根 ， 其 中 入 和 Xz WA 的 特 
征 值 . 

8.42 令 4ERnxn 为 对 称 矩阵 . 给 出 一 算法 计算 分 解 

QT4Q = 71+ F, 

其 中 Q 是 Jacobi HEMMKURB, y= trace(A)/n, EL F 的 对 角 元 为 零 . 讨论 Q 的 唯一 性 . 

8.4.8 对 (a) 反对 称 和 矩阵 和 (b) 复 Hermit 矩阵 情形 设计 Jacobi 程序 . 

8.4 对 nxn SRM A 作 如 下 划分 : 


Azul? ve | 1 
v Ai n-—1 


1 n—1 
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4 Q 为 Householder SHR, 使 得 若 B= QT AQ, 则 B(3:n,1) 20. $ J = J(1,2,0) 
这 样 确定 : 车 C = ITB, 则 ci» — 0 E cn > cao. 证 明 cn > a+ lolo. 基于 重复 做 这 个 
Householder-Jacobi 计算 , La Budde(1964) 构造 了 一 个 求解 对 称 特 征 值 问题 的 算法 . 

8.4.5 ”设计 函数 music 使 得 它 需要 的 工作 空间 极 小 . 

8.4.6 ” 当 应 用 循环 Jacobi 方法 时 , 跳 过 ap 的 消去 是 合理 的 , 只 要 其 模 小 于 某 一 个 小 的 、 
依赖 扫描 的 参数 , 因为 在 此 情况 下 of(4) 的 净 下 降 量 并 不 值得 进行 变换 . 这 就 导致 了 所 谓 的 
门限 Jacobi 方法 . 关于 Jacobi 算法 的 这 一 变形 之 细节 可 在 Wilkinson(1965, 277 页 ) 中 找到 . 
证 明 合适 的 门限 能 保证 收敛 . 
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Diagonally Dominant Matrices with Nondistinct Eigenvalues,” Lin. Alg. and Its Applic. 
145, 71-88. 


8.5 三 对 角 方 法 
在 这 一 节 里 , 我 们 阐述 求 对 称 三 对 角 型 特征 问题 的 特殊 方法 . 三 对 角 型 
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a, by 0 
bi az . : 
T = re (8.5.1) 
: bn_1 
0 ... bn_1 Qn 


能 通过 Householder 294% (W 8.3.1 45) RA. 然而 , 在 许多 情形 , 很 自然 就 出 现 对 
称 三 对 角 特 征 问题 . 

我 们 首先 讨论 二 分 法 , 此 法 在 只 需求 特征 系统 选 定 部 分 时 很 有 趣 . 之 后 给 出 分 
而 治之 算法 , 该 算法 可 用 来 以 一 种 适 于 并 行 处 理 的 方式 来 求 得 满 对 称 Schur 分 解 . 
8.5.1 ”二 分 法 求 特征 值 


4 T, 表示 (8.5.1) APERE T 的 前 r xr 阶 主子 矩阵 . 定义 多 项 式 mr(z) = 
det(T, 一 zI),r — 1: n. 利用 简单 的 行列 式 展 开 可 以 证 明 : > po(z) = 1, 则 对 
r=2:n,48 

pr(£) = (ar — £)pr-1 (2) — 2 ip -2(z). (8.5.2) 
因 在 O(n) 个 flop 内 就 可 以 计算 p, (x) 的 值 , 因此 用 半分 法 找 它 的 根 是 可 行 的 . 例 
如 , 36 pn(y)pn(z) <0 H y <z, 则 迭代 
while |y — z| > e(ly|  |zl) 
z = (y + 2)/2 
if pn(z)Pn(y) < 0 


else 


end 
TAERE, B. (y + z)/2 是 pn(z) 的 一 个 近似 零点 , BU T. 的 近似 特征 值 . 这 个 迭代 线 
性 收敛: 它 每 步 将 误差 大 约 减 半 . 
8.5.2 Sturm 序列 方法 


有 时 需要 对 某 个 给 定 的 ,计算 工 的 第 k 大 的 特征 值 . 利用 对 分 思想 和 如 下 经 
典 结 果 可 有 效 地 做 到 这 一 点 . 

定理 8.5.1 (Sturm 序列 性 质 ) Æ (8.5.1) p 86 — ER AERE T. 没有 零 次 对 角 
元 , 则 Tri 的 特征 值 严 格 分 离 Te 的 特征 值 : 

A(T) < MT) < 和 iTr)< «(T < Ar (Pr-1) < AT). 
此 外 , 车 aA) 表示 在 序列 {po(),p1(),… ,pn(A)} 中 符号 改变 个 数 , 则 a( 和 ) 等 
于 工 的 比 入 小 的 特征 值 个 数 . 这 里 多 项 式 pr(T) 由 (8.5.2) 所 定义 且 我 们 约定 车 
pr(A) =0, 则 pr(A) 与 pO) 反 号 . 
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证 明 ”由 定理 8.1.7 得 出 T... 的 特征 值 弱 分 离 T. 的 特征 值 . 为 证 明 必定 是 
严格 分 离 , 设 对 某 些 r 和 u, p(w) = pr-1(p) = 0, WH (8.5.2) RT 的 不 可 约 性 得 


出 polu) = pi(u) =… = pr(1) = 0, 显然 矛盾 . 这 样 , 必然 有 严格 分 离 . 
关于 a(A) 的 这 个 断言 是 由 Wilkinson(1965, 300~301 页 ) 建立 的 . 我 们 提 到 , # 
p. (4) = 0, WAGE CASES p. 10) 的 符号 相反 . a 
例 8.5.1 # 


1-1 Q0 0 
T- -1 2-1 0 
0-1 3 —1 
0 0-1 4 
RY A(T) ~ (0.254, 1.82,3.18, 4.74}. 序列 
{po(2), p1(2), p2(2), p3(2), pa(2)} = {1, 71, -1,0, 1} 
GER TARA A= 2 小 的 特征 值 . 
假定 我 们 想 要 计算 (T). 由 Gershgorin 定理 (定理 8.1.3) 得 出 A(T) € [y, 2], 
其 中 


, 


y = min ai — [bi] — |biil; 2 = ymax ai + |b;| + |bi-1]. 


车 我 们 定义 bo < b. = 0. 以 此 为 初始 值 , 显然 由 Sturm 序列 的 性 质 确 知 , BAR 
while |z — y| > u(ly| + |z|) 
x = (y+ z)/2 
ifa(z) 2n—k (8.5.3) 


else 


end 
end 
产生 一 个 长 度 反复 减 半 而 且 始 终 包含 A(T) 的 子 区 间 序 列 . 
例 8.5.2 车 对 上 =3 将 (8.5.3) 用 到 例 8.5.1 EE, 则 可 得 到 下 表 所 示 之 值 


y z T a(z) 
0.0000 5.0000 2.5000 2 
0.0000 2.5000 1.2500 1 
1.2500 2.5000 1.3750 1 
1.3750 2.5000 1.9375 2 
1.3750 1.9375 1.6563 1 
1.6563 1.9375 1.7969 1 


0 


由 此 可 知 Ag (T) € [1.7969, 1.9375]. 注意 : As(T) =~ 1.82. 
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在 执行 迭代 (8.5.3) 时 , 可 以 得 到 关于 其 他 特征 值 大 约 位 置 的 信息 . 通过 系统 地 
保存 这 个 信息 能 设计 一 个 有 效 的 方案 来 计算 ACD) 的 “邻接 ” 子 集合 , 例如 , ALT), 
Agi (T), ,An¢j(T), WL Barth, Martin, and Wilkinson(1967). 

EAE A 的 一 些 选 定 特征 值 , 那么 , 在 应 用 上 面 的 二 分 法 之 前 
就 必须 先 计算 三 对 角 化 T = UITU, 这 个 约 化 使 用 算法 8.3.1 或 下 一 章 讨论 的 
Lanczos 算法 都 可 做 到 .两 种 情形 都 可 以 经 过 道 迭 代 容 易 地 找到 相应 的 特征 向 量 ， 
因为 在 O(n) 个 flop 内 就 可 找 出 三 对 角 方 程 组 的 解 , 见 4.3.6 节 和 8.2.2 节 . 

在 一 些 应 用 中 , 原 和 矩阵 已 经 是 三 对 角 型 , 用 二 分 法 计算 出 的 特征 值 不 论 其 大 小 ， 
都 具有 较 小 的 相对 误差 .这 与 三 对 角 QR 迭代 不 同 , 后 者 仅 保 证 计算 的 特征 值 和 
具有 较 小 的 绝对 误差 : [A 一 入 (T)| ~ ullTlla. 

最 后 , 用 LDLT 分 解 ( 见 4.2 节 ) 能 计算 对 称 和 矩阵 的 某 些 指定 的 特征 值 . 其 思 
想 是 用 Sylvester 惯性 定理 (定理 8.1.17). 若 

A-uI-LDL', A= AT'eR"™" 
是 A — pl 的 LDLT 分 解 , H D = diag(di,--- ,dn), 则 负 的 d; 个 数 等 于 比 u 小 的 
ACA) 个 数 . 详 见 Parlett(1980, 46 页 ). 


8.5.3 ”对 角 和 矩阵 和 秩 1 矩阵 的 特征 问题 


求 对 称 三 对 角 特 征 问题 的 下 一 个 方法 需要 我 们 能 够 有 效 计 算 形 如 D + pzz! 
的 矩阵 的 特征 值 和 特征 向 量 , 其 中 D c R"x" ANAE, zc R^ 且 p eR, 这 个 
问题 就 其 本 身 来 说 很 重要 , 且 主 要 计算 依赖 下 面 的 两 个 结果 . 
引 理 8.5.2 4& € D —diag(di,--.,d,) € R^*^ 具有 性 质 di >… > dn, RR 
p#0 HzZER" 没有 零 分 量 . E 
(D + pzz")v =v, ~v £0, 
则 zTv Z0, B. D — AI AEH. 
证 明 — 5A € A(D), 则 对 某 个 i, 和 = di, 这 样 
0 =e! ((D — Myv + p(zTv)z] = p(zTv)a. 
由 于 p 和 z JES, 我 们 一 定 有 0 = zv H Dv = Av. 然而 , D 有 相 异 特征 值 ， 
此 , v € spanfe;]. 但 是 0 = zTv = z, 矛盾 . 这 样 , D 和 D+ pzzT 没有 任何 相同 
的 特征 值 , H zTw £0. 口 
定理 8.5.3 i D=diag(d,--- ,dn) € R” 且 对 角 元 满足 di > da, 假定 
p 关 0 且 z ER"* 没有 零 分 量 , # VER?” ALR, 使 得 
VT(D + pzzT)V = diag(A1,--- ,An); 
KPA Se San BV = [v1,… ,Vn], 则 
(a) Xi X f(A) 2 14 pzT (D -Az h n ABB 
(b) # p> 0, BM ài > di > A2 >- > dn. 
E p <0, Md > à` > d2 >- > dn > M. 
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(c) 特征 向 量 vi 是 (D — AI)-1z 的 倍数 . 
证 明 (D+ pzz™)v = Av, 则 
(D —AI)v  p(zT v)z — 0. (8.5.4) 
我 们 从 引 理 8.5.2 知 D — AE 非 奇异 . 这 样 ， 
v € span((D — AI) !z], 
因此 成 立 (c). 而 且 , 车 我 们 在 等 式 (8.5.4) PAARA zT( — AT) 则 有 
zTo(1 二 pzI(D — AI)! z) =0. 
由 引 理 8.5.2, zTo A 0, 这 样 就 证 明了 若 Xe A(D + pzzT), 则 f(A) = 0. 我 们 必须 
证 明 f 的 所 有 零点 是 D+ pzzT 的 特征 值 且 相互 交错 的 关系 式 (b) 成 立 . 
为 达 此 目的 , 我 们 仔细 看 看 等 式 
ze z 
OET EEE 
t z? 22 
TQ) =0( gra) 
注意 到 了 在 它 的 极点 之 间 是 单调 的 . 这 使 我 们 得 到 结论 , Æ p > 0, Wea 
n 个 根 , 在 以 下 每 个 区 间 里 有 一 个 
(du, ds 1), , (da, d1), (di, 00). 
3$ p <0, Uf ERA m 个 根 , 在 以 下 每 个 区 间 有 一 个 
(—00, dn), (dn, da, 1 , (dn; di). 
在 两 种 情形 下 , 可 知道 f 的 根 正好 是 D + pvo? 的 特征 值 . 口 

定理 表明 , 要 计算 V, 我 们 应 (a) 用 和 牛顿 型 算法 找 出 f 的 根 和 1,… An E (b) 对 
i=1:n, 通过 正规 化 向 量 (D -ADNz 来 计算 Y 的 列 向 量 . 即使 有 重复 的 d; 和 
BYE z, 也 能 得 到 同样 的 求解 方法 

定理 8.5.4 X DD=diag(d1,… ,dn) B. z € R^, 则 存在 一 正 交 给 阵 Vi 使 得 
车 VITDVi= diag(m, > ps) 且 wW=Viz 则 

pi gae Br 2002 Hn, 
Sri—l1:nw £0. BA i=r+1l:n w =0. 

证 明 ”我 们 给 出 一 个 构造 性 证 明 , 它 基 于 两 个 基本 运算 . (a) 假设 对 某 个 i < j 
Ad; =d;. 令 J(i,j9) 是 在 人力 平 面 上 的 旋转 变换 , 具有 性 质 J(1,5,0)7 z 的 第 j 
个 分 量 为 零 . 不 难 证 明 .J 了 (i,;,0)TDJ(i,j,90) = D. RB, 若 有 一 个 重复 的 di, 我 们 
就 能 使 z 的 一 个 分 量 为 零 . (b) 车 z=0,%j 关 0, 且 i<j, 则 令 忆 是 i 列 和 j 列 互 
换 的 单位 矩阵 , 可 推出 PTDP 是 对 角 矩 阵 , (PTz); 40 H (PT2); = 0. 这 样 , 我 
们 就 能 把 为 零 的 z; 放 在 “底部 ”. 很 明显 , 重复 (a) 和 (b) 就 能 得 到 所 需 的 标准 结 
Xj. V, 是 这 些 旋转 矩阵 之 积 . 口 

关于 我 们 上 面 所 给 出 的 求解 算法 的 讨论 , 可 见 Barlow(1993) 以 及 该 文 的 参考 
文献 . 
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8.5.4 分 而 治之 方法 
我 们 现在 来 讨论 计算 三 对 角 和 矩阵 T 的 Schur 分 解 
QITQ=4=diag( ,Mn), QQ=I (8.5.5) 
的 分 而 治之 方法 , 它 包 括 (a) T 为 两 半 , (b) 计算 这 两 部 分 的 Schur 分 解 , (c) 合 
并 两 个 半 尺 寸 的 Schur 分 解 为 所 需 的 全 尺寸 的 Schur 分 解 . 整个 算法 由 Dongarra 
and Sorensen(1987) 提出 , 它 适 于 并 行 计算 . 
我 们 首先 证 明 T 在 秩 1 修正 下 怎样 被 “分 成 ”两 半 . 为 简单 起 见 , R n = 2m. 
SEX veR" 如 下 om) 
v= | em | (8.5.6) 


gc? 
注意 到 对 所 有 的 p ER, 除了 “中 间 四 个 ”元 素 
am — p bm — p8 
Bin — pO amy — pO? 
外 , HIME T — T — pvo? AT HE. 若 我 们 令 pb = bm, DU 


Fmt mim -| 


r-| sje 
aj by Dee. 0 ZL bmitl 2 0 
b a > : bal m42 | 
Ti , T= 
bm_1 : US 78 baa 
0 ... bm-1 am 0 2e. bni On 


H Üm = Om — P, Gmt+1 = Qm+l 一 pg. 
现在 假设 我 们 有 mx m EXER Q, M Q EA QTT Q = Di 8 Q7T;Q; = 
D; WARNAE, 若 我 们 令 


_|Q 0 
v=] 0 à 
则 
u're =u" (| T, 0 | eeu neo 
0 T^ 
其 中 
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ENAERE T 
Qi Em 
0Qze 
比较 这 些 等 式 我 们 看 到 , 有 效 地 综合 这 两 个 半 尺 寸 的 Schur 分 解 需 快 速 而 稳定 地 计 
算 一 个 正 交 矩阵 V 使 得 
VT(D + pzz')V = 4=diag( At , Àn), 
对 此 我 们 在 8.5.3 节 中 已 作 了 讨论 . 
8.5.5 ”并 行 实现 


已 作 了 撕 开 和 综合 运算 后 , 我 们 准备 演示 整个 过 程 以 及 在 多 个 处 理 器 上 是 怎样 
实现 的 . 为 清楚 见 , 设 n = 8N, N 为 正 整数 , 可 作 三 级 撕 开 . RA 8.5.1 所 示 , 我 们 
用 二 叉 树 来 图 示 此 过 程 . 指标 标注 在 二 叉 树 上 . 图 8.5.2 描画 了 一 个 结 点 , 它 代表 
三 对 角 和 矩阵 TO 的 特征 系统 从 三 对 钙 矩 阵 T (bo) ATO) 的 特征 系统 所 获得 . 例 
hu, N x N 矩阵 T(110) 和 T(111) 的 特征 系统 综合 在 一 起 就 产生 了 2N x 2N 三 对 
角 和 矩阵 T (11) 的 特征 系统 . 


z=U'v= 


T(b) 


T(00) (01) T(10) T(11) 
T(000) T(001) T(010)T(011)T(100) T(101) F(110) (111) T(b) T(b) 
图 8.5.1 计算 树 图 8.5.2 一 个 结 点 的 综合 


用 树 结构 算法 , 总 会 存在 危险 , 当 树 “ 扑 ” 到 根部 时 , 并 行 性 会 丢失 , 但 在 我 们 的 
问题 中 不 会 出 现 这 一 情形 . 为 看 清 这 一 点 , 我 们 仍 假定 有 8 个 处 理 器 , H Proc(b) 的 
第 一 个 任务 是 计算 T (b) 的 Schur 分 解 , 其 中 b = 000, 001, 010, 011, 100, 101, 110, 111, 
这 部 分 计算 达到 最 佳 装载 平衡 并 且 不 涉及 处 理 器 之 间 的 通信 . (我 们 忽视 定理 8.5.4 
的 降 阶 , 这 不 大 可 能 导致 明显 的 装载 不 平衡 .) 

在 下 一 个 级 上 , 有 四 个 连 在 一 起 的 操作 需 完成 : T (00), T(01), (10), T(11). 然 
而 , 这 些 计 算 都 可 很 好 地 细 分 , 于 是 我 们 分 两 个 处 理 器 给 每 个 任务 .例如 , 一旦 T(00) 
的 特征 方程 被 Proc(000) 和 Proc(001) 所 知 , 则 它们 都 得 到 一 半 的 特征 值 和 相关 特 
征 向 量 . 类 似 地 , 4 个 处 理 器 分 配给 7 (0) 和 工 (1) 问题 . 所 有 8 个 处 理 器 都 参与 计 
算 T 的 特征 值 . 这 样 , 在 每 级 水 平 上 , 完全 并 行 性 能 保持 , 因为 特征 值 /特征 向 量 计 
算是 互相 独立 的 . 、 


3J 题 


8.5.1 设 入 是 对 称 三 对 角 和 矩阵 T 的 特征 值 . 证 明 若 入 有 代数 重 数 k, 则 工 的 次 对 角 元 
KEDA k-1 个 为 零 . 

8.5.2 ” 试 给 出 一 个 确定 (8.5.6) 中 p 和 0 的 算法 , 具有 性 质 0 € {-1,1} B. min{lar — 
ph lart1 一 P BARK. 

8.5.3 4 p,(A) = det(T(1:7,1:7r) — AL), HPT 由 (8.5.1) 给 出 , 试 给 出 计算 p, (0) 

MRR, 并 用 它 来 导出 能 计算 T 的 特征 值 的 牛顿 迭代 式 . 

8.5.4 在 分 配给 特殊 的 Ty 上 的 处 理 器 之 间 , 什么 通信 是 必须 的 ? 处 理 重复 d; 以 及 零 元 
K a 的 工作 可 以 分 享 吗 ? 

8.5.5 ÆT XEZER, 可 以 推出 8.5.4 节 中 的 矩阵 Ti AT. 是 正定 矩阵 吗 ? 


8.5.6 设 
D v 
A= 
| vl dan | , 


其 中 D = diag(di,--- ,dn_1) 有 不 同 的 对 角 元 且 v € R | HTRRRAS. (a) 证 明 : 3T 
A € (A), Jl] D 一 和 In_1 非 奇 . (b) 证 明 : 47 A e ACA), WA Æ 


. n—1 v2 
i) =at TS cds 
的 零点 . 
8.5.7 #%A-—S+ouu', HH S c R^*^ 是 反对 称 和 矩阵 , u eR”, o € R, 说 明 怎样 计 
算 一 个 正 交 矩阵 Q 使 得 QT4Q =T - ceiet, 其 中 工 是 三 对 角 和 矩阵 且 反 对 称 , el 是 D, 的 
第 一 列 . 
8.5.8 已 知 EAT), 其 中 T € R7 为 没有 零 次 对 角 元 的 对 称 三 对 角 和 矩阵 . WASH 
从 方程 Tx = 和 zx 计算 z(1 :n 一 1), 给 定 zn = 1. 
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8.6 it® SVD 


矩阵 A BYE SPREE ATA, AAT 及 | 9 4 | 的 Schur 4M 


之 间 有 着 重要 的 关系 . 事实 上 , 如 果 
UTAV = diag(o1,--- ,on) 
是 A € R?*^(m > n) 的 SVD, W 


VT(AT AV = diag(o?,--- ,02) € R”, (8.6.1) 
UT (AAT)U = diag(o?,--- ,02,0,... ,0) €R™*™. (8.6.2) 
一 一 一 一 一 


而 且 , 车 
U=({U, Us 


T m 一 nb 
RUE XLIEREEBE Q c Renee 为 


Q- | V Vv 0 | 
V2 Ui —U, /2U; ’ 
则 
QT 0 AT Q = diag(o1 ae On —0, ttg —On, 0, PM ,0). (8.6.3) 
A 0 ) , , ? 


m-n 


对 称 特征 问题 的 这 些 关 系 使 我 们 可 以 把 前 两 节 中 的 数学 结论 及 算法 结论 应 用 到 奇 
异 值 问 题 . 这 一 节 的 优秀 参考 书包 括 Lawson and Hauson(1974) 以 及 Stewart and 
Sun(1990). 
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8.6.1 ”扰动 理论 和 性 质 


基于 8.1 节 的 定理 , 我 们 首先 对 SVD 建立 一 些 扰动 结果 . 回忆 一 下 lA) 表示 
A 的 第 i 大 的 奇异 值 . 
定理 8.6.1 # AcR”, Mja} k=1:min{m,n} 
o,(A) = max in AP _ max min | Azle 
aim(S)=* Fe ses limlallulla  dim(Sj=x ses allo ' 
注意 表达 式 中 SCR 和 T CR" 为 子 空间 . 
证 明 ”把 定理 8.1.2 应 用 于 ATA 就 得 到 最 右边 的 式 子 , 余下 的 证 明 留 作 练 
4. 口 
推论 8.6.2 XS AR AGE WAT R™ mèn, RJ k—1:n 
lex (A + E) — ox(A)| < oa( 五 ) = ||Ell2- 
证 明 ”将 推论 8.1.6 应 用 于 


das] 


例 8.6.1 车 


1 4 1 4 
A=|2 5|, AtE=|2 5 
3 6 3 6.01 


则 c(A) = {9.5080, 0.7729} 且 o(A + E) = {9.5145,0.7706}. 很 清楚 , 31 i — 1:2, 
我 们 有 jo; (A + E) - al A)| < | Ella = 0.01. 
推论 863 4 A = [a1,… ,Qn] E R 按 列 划 分 , m 2 n. € A. = 
[ai o]; FE r—1:n—1, 
o1(Api1) 2 o1(Ar) 202(Ac1) 2:7: or(Arri) > er (Ac) 2 Or41(Ar41)- 
证 明 ”应 用 推论 8.1.7 于 ATA. 口 
最 后 这 一 结果 是 说 矩阵 增加 一 列 , 则 最 大 奇异 值 增加 , 最 小 奇异 值 减 小 . 
例 8.6.2 


口 


0 (A+ E)T 
A+E 0 : 


1 6 11 
2 7 12 o(A1) = {7.4162}, 
A-2|3 8 13 | > o(Ag) = {19.5377, 1.8095}, 
4 9 14 a (As) = (35.1272, 2.4654, 0.0000}. 
5 10 15 
由 此 可 证 实 推 论 8.6.3. 


下 一 个 结果 是 奇异 值 问题 的 Wielandt-Hoffman 定理 . 
定理 8.6.4 # A fe ALE BT R™ mən, Rl 


V (oA + E) - ox (A)? < (EI 


k=1 
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证 明 ”应 用 定理 8.1.4 于 


0 AT 0  (A«E)T 
p 0 | 和 | at 0 d 
ij 8.6.3 # 
1 4 1 4 
A=|{2 5 和 A+E=!|2 5 |, 
3 6 3 6.01 


M S. (ox(A + E) - o4(A))? = 0.472 x 107* < 1074 = EIR. RA 86.1. 

对 于 A cR”, 我 们 说 维 子 空间 SCR MT CR" 形成 一 奇异 子 空间 
对 , 若 zES 和 weT 隐 含 Az eT 和 ATy € 5S. 下 列 结果 与 奇异 子 空间 对 的 扰动 
有 关 . 
定理 8.6.5 4E A, E CR™*"(m>n), 并 假定 VER"X" f U c R"* E 


X.dk 
V-[Vi V2 ], U =[|U: U2 ]， 


r nr r m-r 
且 ran(V1) 和 ran(U1) BRA 的 奇异 子 空间 对 , 令 
viay=| ^= 8 |7” 
0 A2» Tw —T 
r n—r 
UĦEV = Ej Er | r 
Ex E22 | m-r 
r nr 
且 设 
= ,düin ， lc 一 ?| > 0, 
yEa(Agg) 
* 6 
(wie <Š, 


则 在 在 矩阵 Pe Re—r)xr 县 Qe Rim—r) xr 满足 


IM | Eli» 


S 40$ 7 
使 得 van(Vi + VoQ) fa ran(U; +U2P) RA+E GARTAN. 
WEB] M, Stewart(1973), 定理 6.4. 口 
粗略 地 讲 , 该 定理 指出 A 的 O(c) 变化 能 导致 奇异 子 空间 </5 量 级 的 改变 , 其 
中 5 为 相应 奇异 值 分 离 程 度 的 一 个 量度 . 
例 8.6.4 矩阵 A = diag(2.000, 1.001, 0.999) € R? 有 奇异 子 空间 对 (span 
(vi span{ui}), 对 1= 1,2,3, 其 中 vi — eO B u= ef), i 
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2.000 0.010 0.010 
ALE= 0.010 1.001 0.010 
0.010 0.010 0.999 
0.010 0.010 0.010 
矩阵 的 相应 列 
0.9999 -0.0144 0.0007 
0.0101 0.7415 0.6708 
0.0101 0.6707  —0.7616 
0.0051 0.0138  —0.0007 
. 0.9999 —0.0143 0.0007 
V —[ó. 2 03 -— | 0.0101 0.7416 — 0.6708 
0.0101 0.6707  —0.7416 
”定义 了 ACE 的 奇异 子 空间 对 . 注意 到 , pi = 1,{span{6,}}, span{ai}} 接近 于 
{span{v;},span{u;}}, 但 对 1 = 2 Ri = 3, 不 是 如 此 另 一 方面 ,奇异 子 空间 对 
{span{@2, 63}, span{ie, &s}} 靠近 {span{ve, v3}, span(uz, us}}. 
8.6.2 SVD 算法 


现在 , 我 们 指出 怎样 用 QR 算法 的 变形 来 计算 矩阵 A e Rmx" 的 SVD, m 2 n. 
^E—&, 这 十 分 简单 . 等 式 (8.6.1) 使 我 们 想到 : 

e 形成 C= ATA 

。 用 对 称 QR 算法 计算 VICV = diag(o?) 

o 用 带 列 主 元 的 QR 算法 于 AV, RA 

UM(AVI T= R. 

从 已 的 列 已 正 交 化 得 出 UT A(V ID) ERAEN. 但 是 , 正 像 在 例 5.3.2 所 看 到 的 ， 
AT A 的 形成 可 能 要 导致 信息 的 损失 . 由 于 用 原 和 矩阵 4 计算 U, 情况 还 不 那么 十 分 
坏 . 

Golub and Kahan(1965) 叙述 了 计算 SVD 较 好 的 方法 . 他 们 的 技巧 在 于 对 
AT A 用 隐 式 对 称 QR 算法, 同时 求 U AV. 第 一 步 用 算法 5.4.2 化 A 为 上 双 对 
角 型 


Ü = [û à, a] = 


di fi vee 0 
0 dg ` : 
viavs- | |. B- . c Rt”, 
: Us fa 
0 ... 0 dn 
于 是 , 剩 下 的 问题 是 计算 B 的 SVD. 为 此 , 考虑 对 三 对 角 和 矩阵 了 = B" B 应 用 隐 式 


位 移 QR 算法 (算法 8.3.2): 
e HFE 


8.6 计算 SVD 403 


di + f2.4 dm fm 


T(m:n,m:n)- 
dmfm a+ fin 


| > m-mn-l 
的 靠近 d? + f2 的 特征 值 X. 
e 计算 cl = cos(01) 和 sy = sin(03) 使 得 


EN 加 
—81 C1 difi i 0 f 
BF G1 = G(1,2, 91). 
e 计算 Givens 旋转 G2,… ,Gn_1, 使 得 当 Q = G1… Gn_1 8, QTR 为 三 
St AEH, 且 Qe = Giei. 
注意 到 这 需要 显 式 计算 BTB. 正如 我 们 所 看 到 的 , 从 数值 观点 来 看 , 这 是 不 明 
智 的 . 
而 假设 把 上 面 的 Givens 旋转 Gi 直接 应 用 在 B E, 演示 n = 6 时 的 情形 如 


F: 
x x 000 0 
+x x 0 0 0 
0 0 0 0 
Be BG = x x 
0 0 0 x x 0 
0 0 0 0 x x 
000 0 0 x 


我 们 然后 能 够 决定 Givens 旋转 U1, Va Un Vn- Un-1, 把 不 想 要 的 非 零 元 
EDU f ^B Er E PEE: 


x x + 0 0 0 
0 x x 0 0 0 
B— UTB= 0 0 x x 0 0 
0 0 0 x x O0 
0.00 0 x x 
0 0 0 0 0 x 
x x 0 0 0 0 
0 x x 0 0 0 
0 0 0 
Be BV2= + xX x 
0 0 0 x x 0 
0 0 0 0 x x 
0 0 0 0 0 x 
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x x 000 0 
0 x x + 0 0 
B— UTB= 0 0 x x 0 0 
0 0 0 x x O0 
0 0 0 0 x x 
0 0 0 0 0 x 


以 后 类 似 . 过 程 结束 时 得 到 新 的 双 对 角 和 矩阵 B, 它 与 B 的 关系 如 下 : 
B = (UT ,...UT)B(GiVs.--. V4.1) = 0 BV. 
从 每 个 V: 的 形式 VV; = G(ii-1,0)( =2:n 一 1) BH Vei = Qei. BER Q Æ 
理 可 以 断言 VA Q 实质 上 是 相同 的 . 这 样 , 通过 直接 处 理 双 对 角 算 阵 BB 就 可 隐 
式 地 完成 从 工 BT = BB 的 转变 . 
当然 , 要 使 结论 成 立 , 所 论 的 三 对 角 算 阵 必须 不 可 约 . 由 于 BTB 的 次 对 角 元 
的 形式 为 dif, BR, 必须 检查 双 对 角 带 上 的 零 元 素 , 车 对 某 个 & 有 f — 0, W 


Be | By 0 | k 
0 B5 n-k 
k n—k 
而 原来 的 SVD 问题 就 分 成 关于 Bi 5 Ba 的 两 个 较 小 的 问题 , 若 对 某 个 k < 


n,dy—0, 则 左 乘 一 系列 Givens 变换 可 使 所 WE. Win, 若 = 6 Ak = 3, JU 
使 行 平 面 (3, 4), (3, 5) 及 (3, 6) 进行 旋转 , 就 可 把 第 3 行 化 为 零 . 


x x 000 0 x x 000 0 
0 x x 0 0 0 0 x x 00 0 
0 0 0 x 00/|mGo9|0. 00 0 + 0 
B= wr 
0 0 0 x x 0 0 0 0 x x 0 
0 00 0 x x 0 0 0 0 x x 
0.00 0 0 x 0 0 0 0 0 x 
x x 000 0 x x 000 0 
Q0 x x 09 0 0 0 x x 0 0 0 
45| 0 0 0.0 0 -|(59/00000 0 
— 一 一 
0 0 0 x x 0 0 0 0 x x 0 
0 0 0 0 x x 0 0 0 0 x x 
0 0 0 0 0 x 0 0 0 0 0 x 


若 d, = 0, 则 对 平面 (n — 1,n), (n — 2,n),--- (Lm) 进行 一 系列 旋转 , 把 最 后 一 列 
化 为 零 . 这 样 , 车 fi fa =0 BE di ds = 0, 则 我 们 可 以 解 看 

算法 8.6.1 (Golub-Kahan SVD HR) — 4E mst AE B ER”, 其 对 
角 元 与 超 对 角 元 不 为 零 ， FREER AH B -U BV RS B, 其 中 U fe 
V REREH, 实质 上 , V AY T= BB 应 用 算法 83.2 REWER. 
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& XT = BB 的 尾部 2 x2 PEREL tnn 的 特征 值 
y-ü0i-u 
z= 
fork—1:n-1 
确定 c= cos(0) Fo s = sin(0) 使 得 
w aj} °° |= 0 
-s c 
B= BG(k,k +1,0) 
Y = beri Z = bk+1,k 
确定 c= cos(0) 和 s= sin(@) 使 得 
€ 8 y * 
ERINN 
B=G(k,k+ 1,9) B 
if k «n-—1 
= bk,k+13 Z = Dk,k+2 
end 
end 
为 了 有 效 地 实现 该 算法 , 应 分 别 用 数组 a(1 : n) 和 f(1 : n — 1) 来 存储 B 的 对 角 元 
和 超 对 角 元 , 并 且 需 30n 个 flop 和 2n 个 平方 根 运算 . BAU 另 需 6mn 个 flop, 累 
W V 需 6n? 个 flop. 
一 般 地 , 经 过 几 次 上 述 的 SVD 迭代 , 超 对 角 元 f_1 变 得 微不足道 . 判定 B 的 
带 中 的 元 素 为 微小 的 准则 , 通常 为 
fil < e(Idi| + dil) 
Kl < eB 
其 中 s 为 单位 舍 入 误差 的 一 个 小 售 数 ; 而 || - || 是 计算 上 简便 的 范 数 . 
把 算法 5.4.2( 双 对 角 化 )、 算 法 8.6.1 以 及 前 面 所 述 的 分 离 计 算 结合 起 来 , 便 可 
得 到 下 述 算法 . 
算法 8.6.2 (SVD 算法 ) BRA c R™ (m > n) 和 e( 为 单位 会 入 的 小 
倍数 ), 下 述 算法 计算 UTAV = D+E RRB A, 其 中 U eRT” AERBE, 
VE RR"X" Jj X 4&&k, D c R?*" AT AEE, E 满足 [El e ul All. 
用 算法 5.4.2 来 计算 双 对 角 线 化 . 


| 4 | = (Ui Us)  A(Vi Vina). 


until g — n. 
对 i 二 1:n 一 1, 车 [biit] X €(|bis| + [bici ial) X bia AX. 
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找 最 大 g 和 最 小 p RAS 
Bi 0 0 p 
B= 0 Boo 0 n—p-—dq 
0 0 — Bs q 
p n—p-d q 
则 B33 AM A 4BEE LH. Ba 的 所 有 超 对 角 元 不 为 零 . 
ifg<n 


if B22 MEN AAAS, 则 调整 该 行 的 超 对 角 元 为 零 . 
else 
对 Boo 应 用 算法 8.6.1 
B = diag(Ip, U, Iq+m-—n)' B diag(Ip, V, Iq) 
end 
end 


end 


该 算法 所 需 工作 量 及 其 数值 性 质 已 在 5.4.5 WA 5.5.8 节 讨 论 . 
例 8.6.5 若 把 算法 8.6.2 应 用 于 


1100 
0 2 1 0 
A= 
003 1 
000 4 
则 超 对 角 元 如 下 所 示 收 敛 于 零 : 
X R O(lazil) O(|as2l) O(laasl) 
1 10° 10° 10° 
2 10° 10° 10° 
3 10° 10° 10° 
4 10° 107} 107? 
5 10° 107! 1078 
6 100 107! 10727 
7 10° 1071 cet 
8 10° 10-4 
9 1071 10-14 
10 10-7! 收敛 
11 1074 
12 10-12 
13 收敛 
观察 到 收 敏 是 立方 的 . 


8.6.3 Jacobi SVD 算法 


将 8.4 节 中 的 Jacobi 算法 用 于 求解 SVD 问题 是 很 显然 的 ， 代 替 求 解 一 系列 
2 x 2 对 称 特征 值 问题 , 我 们 求解 一 系列 的 2 x 2 SVD 问题 . 这 样 , 对 一 给 定 的 指标 
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对 (p, a), 我 们 计算 一 对 旋转 矩阵 使 得 


| c dE. on | c2 582 | | dp 0 

一 51 C1 Qqp qq 2 “|-| 0 4l 

见习 题 8.6.8. 所 产生 的 算法 称 为 双边 的 , 因为 每 个 校正 包含 一 个 左 乘 和 右 乘 . 
单 边 的 Jacobi 算法 包含 一 系列 的 成 对 向 量 的 正 交 化 , 对 一 给 定 指标 对 (p, a), XE 

定 一 个 Jacobi 旋转 J(p,¢,0) 使 得 AJ(p.q,0) 的 p WA 列 互相 正 交 .见习 题 

8.6.8. 注意 这 对 应 于 使 AT A 中 (p, q) 元 和 (aq, p) 元 为 零 . —H. AV 的 列 足 够 正 交 ， 

SVD 的 其 他 部 分 (U 和 允 ) 可 由 列 加 权 AV = UB 得 出 . 


习 题 


8.6.1 证 明 若 B c R”"*” 是 具有 重 奇异 值 的 上 双 对 角 和 矩阵 , 则 B. 在 其 对 角 线 或 超 对 角 
线 上 一 定 有 一 个 零 . 


0 AT 
8.6.2 用 A € R?*^ (m 2 n) 的 奇异 向 量 来 给 出 | 


to | 的 特征 向 量 公式 . 
8.6.3 给 出 一 个 用 复 Householder 变换 来 化 一 个 复 托 阵 A 为 实 双 对 角 型 的 算法 . 
8.6.4 weal ^ 5 | 的 奇异 值 和 奇异 向 量 与 4 = B+iC(B,C c Rmxn) Wi 


异 值 和 奇异 向 量 之 间 的 关系 . 
8.6.5 ”完成 定理 8.6.1 的 证 明 . 
8.6.6 Hn=2m H S € R"*" 为 及 对 称 的 三 对 角 和 矩阵 , 证 明 存 在 一 个 置换 盾 阵 P c 
R"*" 使 得 PTSP 具有 如 下 形式 : 
T | 0 -BT | m 
P'SP- . 
B 0 m 
m m 
描述 B. 说 明 如 何 利用 B 的 SVD 分 解 计算 S 的 特征 值 和 特征 向 量 ， 同样 考虑 m=2m 十 1 
的 情形 . 
8.6.7 (a) + 


ASHE, 给 出 一 个 稳定 算法 来 计算 c 和 s, 满足 C + 5? = 1, 使 得 


B- | c s Je 
-s c 
为 对 称 矩阵 . (b) 用 Jacobi 三 角 计 算 并 结合 (a) 给 出 一 稳定 算法 用 以 计算 C 的 SVD. (c) (b) 
部 分 可 用 来 给 出 计算 A e R?” 的 SVD 的 Jacobi 型 算法 ， 对 于 给 定 的 (p,q), p <q, 确定 
Jacobi 变换 J(p, 9,01) 和 J(p,q, 02) 使 得 若 
B= J (p q, 61) AJ (p, q, 02), 


则 bpa = bap = 0. 证 明 
of (BY = off(A)? 一 Bea - be. 


408 $83 对 称 特征 值 问题 


怎样 确定 p,q W? 此 算法 应 作 何 修正 , 以 用 来 处 理 当 A € R™<"(m > n) KEER? 
8.6.8 $ z,y cR", 定义 正 交 矩阵 Q X 


a-| i1] 


给 出 一 计算 c s 的 稳定 算法 , 使 得 [x y]Q 的 列 相 互 正 交 . 

8.6.9 设 B c R^*^ X LAM, bnn = 0. 说 明 如 何 构造 正 交 矩阵 U 和 V(— R 
列 Givens 变换 之 乘积 ), 使 得 UT BV. 为 第 n 列 为 零 的 上 双 对 角 和 矩阵 . 

8.6.10 # B eR” 是 具有 对 角 元 素 d(1 : n) 和 超 对 角 元 素 (1: n — 1) 的 上 双 对 和 角 
矩阵. 陈述 并 证 明定 理 8.5.1 的 奇异 值 分 解 . 
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8.7 ”一 些 广义 特征 值 问 题 


给 定 一 对 称 和 矩阵 A e R'*" 和 一 对 称 正定 矩阵 B eR”, 我 们 考虑 如 何 寻 找 
一 非 零 向 量 > 和 标量 和 使 得 Ar = ABr. 这 就 是 对 称 正定 广义 特征 问题 . 标量 A 
被 认为 是 广义 特征 值 . 随 着 和 变动 , A-AB 定义 了 一 矩阵 束 , 我 们 的 任务 是 确定 

X(A, B) = (A|det(A — AB) = 0). 
一 个 对 称 正定 广义 特征 问题 用 一 个 同 余 变换 可 以 化 为 一 个 等 价 的 问题 : 
A -ABF e (XT AX) 一 和 (XTBX) 奇 异 . 
这 样 , 若 x 非 奇异 , 则 ACA, B) 2A(ATAX, X7 BX). 

在 这 一 节 , 我 们 要 介绍 通过 行 细 选 择 X 来 提出 求解 这 种 特征 问题 的 保持 结构 
不 变 的 各 种 算法 . 有 关 的 广义 奇异 值 分 解 也 同时 讨论 . 

8.7.1 ”数学 背景 

我 们 要 找 一 个 稳定 而 有 效 的 算法 来 计算 x, 使 得 XTAx 和 X7 BX 都 化 为 
“标准 型 ”. 所 追求 的 明显 形式 是 对 角 型 . 

定理 8.7.1 设 和 A 和 B 是 nxn HH, EX C(u) 为 

C(u) =uA+(1 -WB, HER. (8.7.1) 
落 存 在 一 uc [0,1], 使 得 C(u) B34 f AERE, 并 且 

null(C (u)) = null(A) N null(B), 
Wl AEA REM X, 使 得 XT AX fo X! BX MAN AEH. 

证 明 ”选取 u e [0,1], 使 得 C(u) HHEASHRARAE nul(C(p)) = 

null(A) à null(B). & 
D 0 
0 0 
是 C(u) 的 Schur SAEN X, = Q,diag(D~"/?, Inx). # Ai = XTAX, Bi = 
XTBX,, HC, =X{C(u) Xi, M 


QiC(wQ, = | | , D- diag(d1, tt dk), di 20 


I, 0 
e| o p |t ams 


由 于 span(ex41,:: , €n} = null(C;) = null(Ai) N null(Bi), 所 以 A, 和 B; 都 有 以 
下 分 块 结构 : 
An 0 |k [Bn 6 ]k 
a=] 0 0 lta m-| 0 0 IL. 
k 


n—k n 一 
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mE. Ik = pAn + (1-p)Bi. 
BE p #0. "AU ZTB,Z = diaglb, ,bk) 是 Bu 的 Schur 分 解 且 我 们 令 
X = Xidiag(Z,In_x), W 
X™BX = diag(by,--- ,by,0,... ,0) = Dg, 


XTAX= TXT (CW) -(1- p)B)X 


d I, 0 n. _ 
-i(| 0 | (1 aD») = Da 


另 一 方面 , € u= 0, WS Z" Au Z = diag(a1,… ,ax) 是 Aii 的 Schur 分 解 ， HS 
X = X,diag(Z, I, ,). HIE, 在 这 种 情形 下 , XTAX 和 XTBX 为 对 角 和 矩阵 、 O 

通常 , 由 于 4 或 者 B 是 正定 矩阵 , 定理 8.7.1 的 条 件 能 够 满足 . 

推论 8.7.2” 若 4 一 AB e R"x"m 是 对 称 正定 的 , MAE- ETHEL X = 
[x1,'… ,Yn] 使 得 

XTAX = diaga, ,an), XI BX =diag(bi,--- ,bn), 

而 且 , 对 2 二 1:n, Az; 2 A;Bzi, 其 中 Xi = a;/bi- 

证 明 ”在 定理 8.7.1 中 令 — 0 我们 看 到 对 称 正定 束 同时 对 角 化 . 推论 的 其 余 
部 分 易 证 明 . 口 


例 8.7.1 X 
asfi "I ZU MI 
163 116 59 43 
则 A—AB 是 对 称 正定 矩阵 且 AA, B) = (5,-1/2). € 
x- | 3-5 | 
-4 7 

则 XT AX = diag(5, 1) 及 XT BX = diag(1, 2). 

Stewart(1979) 给 出 满足 


c(A, B) = mim (Any + (æT Bz)? >0 (8.7.2) 


的 对 称 束 A — AB 的 扰动 理论 . 标量 cA, B) AYER 和 一 和 AB 的 Crawford. 

定理 8.7.3 HA-ABA-AnxnMHERR, 具有 特征 值 

Ay 2 Ag B+: 之 An， 
jk EA 和 Ep X nx n HARES, LAA 
e? = Elf; + Esli < «(A B). 
则 (A+ E4) - A(B 4 Eg) 对 称 正定 , 其 特征 值 
pi 2-2 Hms 
对 2 二 1:n 满足 
larctan(A;) ~ arctan(u;)| < arctan(e/c(A, B)). 
WEBB A Stewart(1979). 口 
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8.7.2 ” 求 对 称 正定 问题 的 方法 


我 们 转 来 考虑 算法 , 首先 给 出 一 个 既 用 Cholesky 分 解 又 用 对 称 QR 算法 的 求 
解 对 称 正定 问题 的 方法 . 

算法 8.7.1 AÈ A= ATER?” 和 万 =BTeRnxn Kop BALTES, 
本 算法 计算 一 非 奇 异 和 给 阵 X 使 得 XTBX = In B. X*AX=diag(ay,--- ,an). 

用 算法 4.2.2 计算 Cholesky 分 解 B = GG". 

计算 C=G'AGT. 

用 对 称 QR 算法 计算 Schur 分 解 Q*C = diag(a1,… , a4). 

A4X-G7g. 

此 算法 需 约 14n3 个 flop. 在 实际 实现 中 , A 能 被 矩阵 C Sim. 详 见 Martin 
and Wilkinson (1968c). 注意 到 

MA, B) = A, GGT) = AG AG 7,1) = XC) = {a1,--+ ,oan}. 

Za, 是 由 算法 8.7.1 求 得 的 特征 值 , 则 能 证 明 à; € A(G- AG T À- E), HF |El = 
u| All B! 这 样 , Æ B 是 病态 的 , 则 由 于 舍 入 误差 影响 , 即使 a; 是 良 态 的 广 
义 特 征 值 , 也 会 严重 损害 à; 的 值 . 当然 , 在 此 情况 下 , 矩阵 C = G LAG 7 可 能 有 
一 些 很 大 的 元 素 , HE B 是 病态 的 , 则 G 也 是 病态 的 . 在 算法 8.7.1 中 用 VD? 
代替 矩阵 G, 有 时 能 克服 这 一 困难 , 其 中 VT BV = D 是 B 的 Schur 分 解 . 若 D 
的 对 角 元 从 小 到 大 排序 , 则 C 的 大 元 集中 在 左上 角 . 这 样 , 计算 C 的 一 些小 特征 
值 不 会 有 太 大 的 合 入 误差 影响 (或 者 说 直观 上 应 如 此 )， 更 进一步 的 讨论 , 请 参阅 
Wilkinson(1965, 337~338 页 ). 

587.2 X 

1 2 3 0.001 0 0 
A=|2 4 5 1 0.001 0 
3 5 6 2 1 0.001 
AB-GGl, 8| A—AB 的 两 个 小 特征 值 为 
a = —0.619 402 940 600 584, as = 1.627 440 079 051 887. 

若 使 用 17 位 兆 点 运算 , 则 把 对 称 QR 算法 用 到 JD 7 VT AV DOT) 时 , 计算 
的 特征 值 达到 机 器 精度 , RP B=VDV" X B 的 Schur 分 解 . 另 一 方面 , SAH 
法 8.7.1, 则 


, G= 


à, = —0.619 373 517 376 444, G2 = 1.627 516 601 905 228, 
只 得 到 4 位 准确 有 效 数字 , 其 原因 在 于 RO (B) ~ 10°, 
用 4 和 B 的 适当 出 组 合 代 圭 B, 有 时 能 改善 算法 8.7.1 PERE X 的 条 件 . 变 
动 后 的 矩阵 束 之 特 征 值 与 原 矩阵 束 特征 值 的 关系 已 在 定理 8.7.1 的 证 明 中 详细 说 
Bj. 
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与 算法 8.7.1 有 关 的 其 他 困难 都 是 围绕 如 下 事实 : 即使 4 和 B 都 是 稀疏 和 矩阵， 
G AG T 也 是 满 的 . 这 是 一 个 严重 问题 , 因为 实际 中 许多 对 称 正定 问题 都 是 大 型 
Tisi). 
Crawford(1973) 已 指明 当 A 和 B 为 带 状 矩阵 时 , 如 何 实现 算法 8.7.1. 但 是 ， 
除 此 之 外 , 同时 对 角 化 方法 对 大 型 稀疏 对 称 -正定 问题 是 行 不 通 的 . 
另 一 个 想法 是 将 Rayleigh FRAIL (8.4.4) 作 如 下 推广 : 
给 定 ro, lola =1 
for k =0,1,--- 
Hk = 2p Az, / xf Brk (8.7.3) 
解 (4 — we B)2n41 = Bozk 得 zk+l 


ZHI = Zk+1/N zk+ill2 


end 
该 迭代 的 数学 基础 是 TA 
c Ax 
= zi Bzr (8.7.4) 
极 小 化 
f(A) =|4z -入 Bzlls， (8.7.5) 


X ||- le 定义 为 | zl 要 = zTB-!z. (8.7.3) 与 (8.4.4) 有 相似 的 数学 性 质 , 其 适用 
性 取决 于 能 否 容 易 地 求解 形 如 (4 一 和 AB)z = z 的 方程 组 . 类 似 的 评论 可 用 于 下 列 
P XGEAGER: 
4X Qo < R""'?, B. QÍQo = I; 
fork 21,2,:-- 
从 BZ, = AQk-1 解 出 Ze (8.7.6) 
Zk = QR (QR 分 解 ) 
end 
在 数学 上 , 这 等 价 于 在 (7.3.4) 中 用 BTA BR A 其 实用 性 与 解 取决 于 能 否 容易 
地 求解 形 如 Bz = y 的 线性 方程 组 . 
A 和 B 有 时 会 非常 大 , 以 致 无 法 实行 (8.7.3) 或 (8.7.6). 在 这 种 情况 下 , 可 以 
借助 于 一 些 梯度 算法 和 一 些 坐 标 松 弛 算法 . 丰富 的 文献 介绍 可 见 Stewart(1976). 


8.7.3 “广义 奇异 值 问题 


我 们 以 形 如 ATA — ABTB( 其 中 A e R™™*", B € R?*7) 的 对 称 束 的 一 些 评述 
来 结束 本 节 . 这 个 束 构 成 广义 奇异 值 分 解 (GSVD) 的 基础 , 该 分 解 在 一 些 带 约束 的 
最 小 二 乘 问题 中 是 有 用 的 . (参阅 12.1 节 ). 注意 到 , 由 定理 8.7.1 可 知 , 存在 非 奇异 
矩阵 X c Rnxn 使 得 XT(ATA)X 及 XT(BT B)X WANA. GSVD 的 价值 
在 于 不 必 形 成 ATA 和 BT B 就 可 完成 其 对 角 化 . 
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定理 8.7.4 (广义 奇异 值 分 解 ) FAA ACR™ men A BecR?*", p 
PAGE RSE U c Rm*m,V c R'? fo PSE X c R"*", 使 得 
UTAX =C= diag(c1,---,¢n), ci 20, 
V'BX = S =diag(s1,---,89), si > 0, 
其 中 q = min(p,n). 
证 明 ”该 分 解 之 证 明 发 表 于 Van Loan(1976). 我 们 根据 Paige and Saunders 
(1981) 给 出 一 个 更 有 构造 性 的 证 明 . 为 清楚 起 见 , 我 们 设 null(A)nnull(B) = {0} A 
p>n. 我 们 把 此 证 明 推广 到 所 有 情形 的 工作 留 给 读者 . 


令 
BHL 
B Q; 
是 QR 分 解 , HQ, ER”, Q c R?*^, R eR”, Paige 和 Saunders 证 明了 在 
Q,=UCW", Q= VSW" (8.7.7) 


意义 下 , Q, 和 Q, 的 奇异 值 分 解 是 相关 的 . 这 里 U,V 和 W ALES, 
C = diag(c:), Oe S+ Scn, 
S=diag(s;), 51 之 …' 之 Sn， 
H CTC - STS = In. (8.7.7) 的 分 解 是 2.6 节 的 CS 分 解 的 变形 , 从 它 我 们 有 结论 
A=Q,R=UC(W'R) fft B=Q,R=VS(W'R). 
通过 令 X = (WTR), Da =C M Dg = S 即 可 得 到 定理 . R ET WERE 
定 null( A) N null(B) = {0} 可 得 . m 
4 c(A,B) = {c1/s1,… ,cn/sg} 的 元 素 称 为 4 和 BN RAHM TE 
X o € o(A,B) 隐 含 着 c? e MATA, BTB)， 以 上 定理 是 SVD 的 推广 , AAS 
B = In, Jl] (A, B) = ofA). 
由 于 Stewart(1983) 和 Van Loan(1985) 已 指出 怎样 稳定 计算 CS 4H, GSVD 
的 证 明 在 实际 上 就 显得 很 重要 . E — CE BEA ROCK WTR 的 逆 以 得 到 X. 注意 到 
X = [zio ms] 的 列 满足 
s? AT Ax, = cB? Bx, 4=1:n, 
REF s; £0, W AT Az; = 0? BT Ba, 其 中 oi = ci/si. 于 是 , mi 称 为 对 (A, B) 的 
广义 奇异 向 量 . 
在 几 种 应 用 里 , 需求 某 些 指定 的 广义 奇异 向 量子 空间 span[zi,，… , zi] 的 一 组 
正 交 基 . 我 们 来 说 明 不 用 求 任何 矩阵 的 逆 或 叉 积 就 可 完成 这 个 任务 . 


. 计算 QR 分 解 
| | | | 
B Qz l 


Q,-UCW!  Q,-VSW* 


e 计算 CS 分 解 
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对 O,S 的 对 角 元 排序 使 和 
{ce1/si,°- t ,Ck/Sk} = {ci /si t Cip / Si, }- 


e+ RERBE Z do E — HX AERE T 使 得 TZ -WT R(, 31 8.7.5). 注意 
# X?-WIR-TZ,N X = ZTT! B Z OW kf span{z1, 0) 
的 正 交 基 . 


习 题 


8.7.1 设 A c R" BOSH, G e RO” 是 非 奇 异 下 三 角形 和 矩阵， 给 出 计算 C= 
G AGCT 的 一 个 有 效 算法 . 

8.7.2 W A cR” HRE B eR” 对 称 正定 . 试 给 出 一 个 利用 Cholesky 分 解 和 对 
称 QR 算法 计算 AB 特征 值 的 算法 . 

8.7.8 ”证 明 如 果 C 是 实 的 和 可 对 角 化 的 ,那么 存在 对 称 和 矩阵 A 和 B, B 非 奇异 , 使 得 
C = AB. 这 证 明了 对 称 束 A — AB 基本 上 是 具有 一 般 性 的 . 

8.7.4 如果 A 和 B 均 为 对 称 和 非 负 定 的 , 试 证 明 如 何 将 Az = AB 问题 转化 为 一 个 
广义 的 奇异 值 问题 . 

8.7.5 给 定 Y c R^*^, 证 明 怎 样 计 算 Householder 矩阵 H2,---,Hn E YHn 
H: =T 是 上 三 角形 矩阵 . 提示 : Hr 将 第 大 行 化 为 零 


8.7.6 B p apleg sz 


其 中 AcR"'*",B;ceR"*", Bo € R". 假定 Bi B 是 正定 的 且 有 相应 的 Cholesky 
三 角形 矩阵 Gi 和 Go. 找 出 该 问题 的 广义 特征 值 和 G1 AG3” 的 奇异 值 的 关系 

8.7.7 设 A 和 B 均 为 对 称 正定 盾 阵 ， 说 明 如 何 用 Cholesky JAM €^ 分 解 来 计算 
A(4, B) 和 相应 的 特征 向 量 . 
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#98 Lanczos 方法 


在 本 章 , 我 们 介绍 Lanczos 方法 , “EAT VA FASE ARE XE KR ET 
征 值 问题 Ar = Am. 该 方法 涉及 对 给 定 的 矩阵 A 进行 局 部 三 对 角 化 ， 然 而 , 与 
Householder 方法 不 同 的 是 , 在 算法 过 程 中 不 会 有 满 的 子 矩 阵 产 生 . 同样 重要 的 是 ， 
A 的 两 端的 特征 值 的 信息 早 在 三 对 角 化 完成 之 前 就 已 出 现 . 因此 , 在 只 需要 矩阵 A 
的 少量 最 大 或 最 小 特征 值 的 时 候 , Lanczos 算法 有 明显 的 优越 性 . 

在 9.1 节 中 , 我 们 导出 了 该 算法 并 给 出 了 它 确切 的 运算 步骤 ; 详细 讨论 了 Kaniel- 
Paige 理论 的 关键 部 分 ， 此 理论 解释 了 Lanczos 方法 惊人 的 收敛 性 质 ， 不 幸 的 是 ， 
舍 入 误差 使 得 Lanczos 方法 在 实际 中 难以 应 用 .其 核心 问题 是 迭代 过 程 中 产生 的 
Lanczos 向 量 会 失去 正 交 性 . 为 此 , 在 9.2 节 中 , 给 出 了 几 种 处 理 这 一 问题 的 办 法 . 

在 9.3 节 中 , 我 们 将 说 明 如 何 用 Lanczos 方法 的 思想 来 解决 奇异 值 问题 、 最 小 
二 乘 问题 及 线性 方程 组 问题 . 特别 值得 注意 的 是 导出 了 求解 对 称 正定 线性 方程 组 的 
FERC BA EYE. 下 一 章 将 进一步 探讨 Lanczos Jr1& 5 JCARCER Z ARR. 在 9.4 
节 中 , 我 们 讨论 了 建立 在 Hessenberg 分 解 基础 上 的 Arnoldi 迭代 法 和 (有 时 ) 可 用 
来 三 对 角 化 非 对 称 阵 的 Lanczos 方法 . 


预备 知识 
91 节 ~9.3 节 需 要 第 5 章 和 第 8 章 的 知识 , 9.4 节 需 要 第 7 章 的 知识 . 本 章 各 
节 闻 的 关系 如 下 : 
9.1 节 一 9.255 — 9.375 
9.41i 
Brown, Chu, Ellison, and Plemmons(1994) 收集 了 大 量 的 有 关 Lanczos 方法 的 


论文 . 其 他 的 补充 参考 文献 包括 Parlett(1980), Saad(1992), Chatelin(1993). Cullum 
and Willoughby(1985a, 1985b) 的 两 卷 书包 括 了 算法 的 分 析 与 软件 . 


9.1 方法 的 导出 及 收敛 性 


假定 A c R"x" 为 大 型 、 稀 朴 的 对 称 矩 阵 , 且 只 需要 求 出 它 的 少数 几 个 最 大 或 
最 小 的 特征 值 . 这 个 问题 可 用 Lanczos(1950) 中 提出 的 方法 解决 . 此 方法 产生 一 列 
三 对 角 和 矩阵 T c RO", 其 最 大 与 最 小 特征 值 越 来 越 好 地 近似 4 的 最 大 与 最 小 特 
征 值 . 本 节 将 导出 这 一 技巧 并 研究 其 确切 的 运算 特性 . 在 本 节 中 , 用 Xi 代表 第 i 个 
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最 大 的 特征 值 . 
9.1.1 Krylov 子 空 间 
导出 Lanczos 算法 的 方式 有 好 几 种 . 我 们 倾向 于 利用 求 Rayleigh 商 
ra) = SE, of0 
的 优化 问题 来 引入 该 技巧 , 从 而 它 惊 人 的 收敛 性 不 会 来 得 太 突然 . 由 定理 8.1.2 知 ， 
r(x) 的 最 大 值 与 最 小 值 分 别 为 Xi(4) 与 ACA). 假设 {qi} CR" 是 正 交 向 量 . 令 标 
E Mi Am, 分别 为 


T TA 
M, = (QF AQ) = max HOLION — max r(Qxu) < A(A) 


T T 
= AQT — min Y(GrAQ)Y _ mi 
my = A (Qk AQ;,) = min yTy = mi, r(Qxy) 2 An(A), 


其 中 Q, = [0.7 ,qxl. HEUTE dy, 使 得 Mi, 和 mi Æ ALA) 和 An (A) i 
来 越 好 的 近似 , 就 可 导出 Lanczos 算法 . ， 
设 up € span{q,,:--,q,} 且 Mi = r(ux). 由 于 r(x) 在 梯度 方向 
Vr(z) = -izz — r(z)z) 
增加 最 快 . 所 以 , 如 果 选 取 quu. 满足 
Vr(ux) € span{qi, +++ ,qk+1}, (9.1.1) 
我 们 有 Mr+1 > My (XX BBE V (ux) 天 0). 同 理 ， 如 果 Uk € span(q;, UU ,qx} B. 
r(vy) = m, 我 们 选取 quii 使 得 
Vr(vk) € span{fgi…… saky h (9.1.2) 
因为 r(x) 在 负 梯 度 方向 -~V-(z) 下 降 最 快 . 
初 看 起 来 , 要 寻找 单个 向 量 qu. 满足 两 个 条 件 似乎 不 可 能 . 然而 , 因为 VYr(z) € 
spaníz, Az}, 如 果 


span{gi,…… ,qk} = span{qi, Ag ,4 
AER qu, 使 得 
span{gi…… ,qx+1} = span{q,, Aq A" 1a, A qi}, 
则 很 明显 (9.1.1) 和 (9.1.2) 可 同时 满足 . 于 是 , 导致 了 计算 Krylov 子 空间 
K(A, qı, k) =span{q,, 4q , A* ‘qi} 
的 标准 正 交 基 问 题 . 这 恰好 就 是 8.3.2 节 中 碰 到 的 Krylov 矩阵 
K(A,q,n) = [qi, Aq, A73, , A"! qj] 


ka) 


的 象 空间 . 
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9.1.2 ”三 对 角 化 


为 了 能 有 效 地 找 出 这 组 基 , 我 们 利用 矩阵 4 的 三 对 角 化 与 K(A. qu, n) 的 QR 
分 解 之 间 的 关系 . VE QT AQ =T 是 三 对 角 拢 阵 , H Qe. = qi W 


K(A, qun) = Qle:,Te1,T’e1, UU T" le]. 


这 正 是 K(A,q,, 0) 的 QR 分 解 , 其 中 el = 1, (,1). 因此 , 用 第 一 列 为 q WERE 
阵 来 三 对 角 化 矩阵 4 就 能 有 效 地 来 求 出 gr- 

在 8.3.1 节 中 讨论 过 的 Householder 三 对 角 化 可 用 来 达到 这 一 目的 . 然而 , 当 
A 是 大 型 稀疏 和 矩阵 时 , 这 一 方法 是 不 可 取 的 , 因为 Householder 相似 变换 会 破坏 矩 
阵 的 稀疏 性 . 其 结果 是 在 约 化 的 过 程 中 将 产生 了 无 法 接受 的 大 型 稠密 矩阵 . 

有 时 , 用 Givens 变换 可 以 控制 矩阵 稀 琉 性 的 破坏 , 见 Duff and Reid(1976). 然 
而 , 当 A 稀疏 时 , 大 多 数 情 况 下 , 任何 通过 逐步 修正 矩阵 A 来 计算 T 的 作法 都 是 
不 可 取 的 . 

这 建议 我 们 直接 计算 三 对 角 和 矩阵 工 = QT AQ 的 元 素 . 令 Q = [qi1, 92,… ,qnj; 


al ĝı tee 0 
B o» 
T= 
Bn-1 
0 ce Bua Qn 


比较 矩阵 方程 AQ = QT 两 边 的 列 , 对 大 = 1:n 178 
Ady = Pk-idy_i + Akap + Prdpr3s Bodo = 0. 


利用 {q} 的 正 交 性 可 得 ax = qLAq,. MH, 如 果 ry = (A — onl) gy — 8k-idki 
非 零 , W gear = rx/Bx, 其 中 Bx = +llrelle- E re = 0, 则 和 迭代 停止 , 但 (我 们 将 看 
到 ) 已 得 到 关于 不 变 子 空间 的 有 价值 的 信息 . 因此 ， 整理 上 述 迭 代 公 式 的 顺序 , 我 们 
得 到 如 下 的 Lanczos 选 代 算 法 : 
To = qi; o = 1,90 = 0; k = 0 
while(B 4 0), 
dii = Tk/Bk; k = k +1; ox = q} Age; (9.1.3) 
ry = (A — oxI)qk — Be—19k—1; Bk = lrell2; 


end 


不 失 一 般 性 , 在 上 述 算法 中 取 be AIER. qx FRA Lanczos WE. 
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9.1.3 ”终止 与 误差 界 


4q 包含 在 一 个 真 不 变 子 空间 中 时 , 在 完全 三 对 角 化 之 前 迭代 就 会 终止 . 这 
是 Lanczos 方法 的 几 个 数学 性 质 之 一 . 我 们 将 其 概括 如 下 . 

定理 9.1.1 H 4E 下 "xm ANA, gq, € R7 A qillz — 1. 则 Lanczos $ 
4& (9.1.3) SEATS] 8S k =m 步 终止 , 其 中 m = rank(K(A.qu,n)). 3k, 对 所 有 的 
k=1:m, 有 


AQ, = UT e+ TRE: (9.1.4) 
其 中 
27] Pi tee 0 
B aa ` : 
Tk = 
: . Bk-1 
0 +: Bk-1 Ok 


且 Qk = [qi, q2;* tt , qx] & 5 E, ran(Q;) = K(A,q,, k). 

证 明 ”通过 对 有 进行 归纳 法 证 明 ， 假 设 选 代 已 产生 Q, = [qi,… ,qx], R 
ran(Q,) = K(A,q,, k), QIQ, = Ix. 从 (9.1.3) 很 容易 得 知 (9.1.4) 式 成 立 . 因此， 
QT4Q = T, + QirueT. 既然 有 oi = aT Aqui - 1: k, 以 及 


q1,Adqi— di (Aq; — Gq; 一 Mi-1qi_1) 
= gli(Biqini) = Bi, i—1:k-1 


成 立 , 因而 QLAQ, = Th. 所 以 Qr, = 0. 
如 果 Tk # 0, ju dk+1 = Ti / ||rx||2 与 015,775 dk EX, 并 且 


Qeyi € Span{ Agx, qx, qn_1} € K(A; qik +1), 


因此 ， QR Qt = Ina, B ran(Q;4+1) = K(A,qi,k+ 1). 另 一 方面 ， 若 mk = 0， 则 
AQ, = Q,T x. 这 表明 ran(Q,) = K(A, q, k) 为 不 变 子 空间 . 由 此 可 得 上 =m = 
rank(K (A, qi,n)). 口 

在 Lanezos BF, 9, 为 零 是 受 欢 迎 的 , 因为 它 标志 着 已 计算 出 一 精确 的 不 变 
子 空间 . 然而 在 实际 计算 中 , 恰好 出 现 一 个 零 , 甚至 很 小 的 O, 是 很 少 发 生 的 , 不 过 ， 
T, 的 最 大 、 最 小 特征 值 倒是 4 的 最 大 、 最 小 特征 值 极 好 的 近似 .因此 , 必须 寻找 
关于 工 , 的 特征 值 收敛 性 的 其 他 解释 . 下 面 就 是 这 样 一 个 结论 . 

定理 9.1.2 {Æ Lanczos 算法 已 进行 了 步 , Rast AHH T, 的 Schur 分 
解 为 STT Se = diag(1,---,O%)- & Ye = [ys o9] = QSk € R™™*, 则 


Ay: — O:yille = [Bel - Ise], $—1:k, 
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其 中 Sk = (Spa). 
证 明 ”将 (9.1.4) BH S, 得 到 
AY , = Ykdiag(01,... ,0k) + TRER Sk; 
TÉ 
Ayi = biyi + re (ei Sei). 
取 范 数 且 记 住 |rwjlz = |r 即 知 定理 成 立 . 口 
此 定理 给 出 了 T, 与 4 的 特征 值 的 一 个 可 计算 的 误差 界 : 


min 9; — wl < Berllsrsl, i=1: k. 


注意 , 用 定理 8.1.15 中 的 术语 , (05, y.) 是 子 空间 ran(Q,) 的 Ritz 对 . 

Golub(1974) 描述 了 用 T, 来 估计 A 的 特征 值 的 另 一 种 方法 , 它 涉及 构造 一 个 
fk 1 矩阵 E 使 得 ran(Q,) 为 A+ E 的 不 变 子 空间 . 特别 地 , 如 果 我 们 用 Lanczos 
方法 来 计算 AQ,=Q,Ti tries, HS E=rww", 其 中 7-31, w=agq,+bri, 则 

(A+ E)Q, = Q;(Tx + ro^exer) + (1+ rab)rkez. 


车 1+7ab = 0, WENA Tr = Th + raerce, REAM A+ E 的 特征 

(B. 由 定理 8.1.8 知 , 对 i= 2: k, 区 间 [和 (Tk), Aa (T.)] 包含 了 A 的 一 个 特征 值 . 
SHE I PORT ro? 的 选取 . 假设 已 有 A 的 一 个 近似 特征 值 ra? 的 一 种 

可 能 的 选取 是 使 得 det(T% — Me) = (aa + ra? — A)pk_i(OA) — B2 1px-2(4) = 0, 其 

中 pi(z) = det(T'; — z1;) 可 用 三 项 迭代 公式 (8.5.2) 计算 . 这 里 假定 pp) # 0. 

Lehmann(1963) 和 Householder(1968) 讨论 了 这 种 思想 的 特征 值 估计 . 

9.1.4 Kaniel-Paige 收敛 性 理论 


前 面 的 讨论 指出 如 何 通过 Lanczos 算法 估计 特征 值 , 但 它 没 揭露 任何 有 关 政 敛 
速度 的 信息 . 这 方面 的 结果 构成 了 Kaniel-Paige 理论 . 以 下 就 是 其 中 之 一 . 

定理 9.1.3. HAA nxn HH, HAA 12202 2 2A 相应 的 
规范 正 交 特征 向 量 为 z1, 22,… ,Zn. Tk AM Lanczos 方法 得 到 的 三 对 角 和 矩阵 (第 
k 步 得 到 ), 其 相应 的 特征 值 为 01 > 92 >.… > Ox, WI 
Qu — An)tan(¢1)? 
ea 29)» ° 
其 中 cos(é1) = lad zi] p1 = (M — A2)/(A2 — An), ek-i(z) A k — 1 次 Chebyshev 多 
5 X. 

WEB] ”由 定理 8.1.2 知 ， 


M1 2 2A - 


y Thy _ max (Q.y)  A(Q,v) 


max 一 一 一 一 一 
vyz0 yTy v0 (QEY)T (QEY) 
wl Aw 


OzwcK(A,q,k) WoW 


6, = 
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由 于 Xi wl Aw/wlw 对 所 有 非 零 的 w 取 最 大 , RA >. 为 了 得 到 0 的 下 
界 , 考察 下 式 : 
_ qi p(A)Ap(A)q 
A= EX, qip(A)*q, 
HK Po- 是 所 有 不 高 于 有 一 1 次 的 多 项 式 组 成 的 集合 . 若 q = > 7 dizi W 
qip(A)Ap(A)g: _ Pi POS? 


qi p(A)?a i d?p(A)? 
Xi- d2p(X? 
之 Ài 一 (i 一 An) oO)? +, Ou? y, dp)? . 
为 了 能 得 到 一 个 较 好 的 下 界 , 我 们 选取 多 项 式 p(z) 使 得 它 在 x = 和 1 的 值 比 在 其 他 
特征 值 上 的 值 大 得 多 . 一 种 方式 是 选取 


— An 
p(z) = Ck-1 (A +2 — x) , 


其 中 cp_1(z) Æ k — 1X Chebyshev 多 项 式 , 它 由 下 列 递 推 公式 产生 : 
cx(z) = 2zex-i(z)— ex-2(2)) co=1, c=2. 


这 些 多 项 式 在 区 间 [-1, 1) 上 的 上 界 为 1, 但 在 区 间 外 增长 很 快 . 用 这 种 方法 定义 的 
p(z) AER: 


IPAD <1, i=2:n, 
但 p(à1) = ex-i1(1 + 201). WA 
1-@& 1 


6, 2 ` 一 Oi 一 和) 一 一 eo 
E2800 ta 


注意 到 tan?(d1) = (1 — 42)/42, 上 式 即 为 所 希望 的 下 界 . 口 
从 此 定理 , 立即 可 得 关于 0, 的 一 个 类 似 的 结果 . 
推论 9.1.4 采用 上 述 定 理 的 记号 , 有 下 列 结果 ; 
(Ar 一 An)tan(bn)? 
Cr-1(1 + 2pn)? , 
其 中 Pn = (An-1 一 AnA 一 Xn_1)cos(gn) = Q1 Zn. 
WEB] ”在 定理 9.1.3 中 , 用 -4 替换 A, 即 得 . 口 
9.1.5 Xf Lanczos 方法 的 比较 
值得 将 0, 与 军法 的 估计 值 Xi 进行 比较 ，( 见 8.2.1 节 .) 为 简单 起 见 , 假定 
Mb Pan 20. 对 qn Hl k— 12/8804 US, 得 到 方向 


An € Ôk S An + 


n 
v= Aa, = 1 c; iz, 
i=l 
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上 的 一 个 向 量 , 并 且 有 一 个 特征 值 估计 


y vT Av 
1 = . 
vTv 


利用 定理 0.1.3 的 证 明和 记号 , 易 得 不 等 式 ; 


uL > VF 
àl È %1 2 AL (Ar An)tan (1) . (8) . (9.1.5) 
GER: 在 证 明 中 令 ple) = ^71.) 因此 , 我 们 可 以 比较 8, Ry 的 下 界 : 
2 
Dy-1 1/ la: (s 一 3l 2 l/[e-i(1 + 2p), 


f 2(k—1) 
ma-(3) -. 


3€ 9.1.1 Zr T BRA PARMA k 与 A/ 和 1 的 比较 : 


表 9.1.1 Lk-1/Rk-1 


M/^z k=5 k= 10 k=15 k = 20 k= 25 

1.1 x 1074 2.0 x 10-19 3.9 x 10-16 7.14 x 10-22 1.4 x 10727 
1.50 anole? 

3.9 x 10-2 6.8 x 10-4 1.2 x 10-5 2.0 x 10-7 3.5 x 10-9 
110 2.7 x 107? 5.5 x 1075 1.1 x 1077 2.1 x 10-19 4.2 x 10713 
' 4.7 x10-1 1.8 x 10-1 6.9 x 10-2 2.7 x 1072 1.0 x 10-2 
101 5.6 x 107! 1.0 x 107} 1.5 x 1072 2.0 x 10-3 2.8 x 1074 
' 9.2 x 10-1 8.4 x 1071 7.6 x 10-1 6.9 x 10-1 6.2 x 1071 


Lanczos 估计 的 优越 性 是 不 言 而 喻 的 . 这 并 不 奇怪 ， 因为 91 是 r(x) =2ZT4z/zTz 
对 K(A,q,, k) 中 所 有 元 素 取 最 大 值 而 得 到 的 估计 , 而 y = r(v) 只 是 对 应 空间 
K(A, q, k) 中 一 特定 的 值 , 即 v = Atq. 
9.1.6 ”内 部 特征 值 的 收敛 性 


在 本 节 最 后 , 我 们 给 出 关于 Ts 内 部 特征 值 的 误差 界 的 一 些 注释 .定理 9.1.3 
的 证 明 的 核心 思想 是 利用 变换 了 的 Chebyshev 多 项 式 . 通过 它 , 我 们 放大 了 qi 在 
zy 方向 上 的 分 量 . 一 个 类 似 的 想法 可 用 来 获得 内 部 Ritz 值 0; 的 误差 界 . 然而 , 这 
些 误差 界 并 不 令 人 满意 , 因为 “放大 多 项 多 ”具有 形式 a(x) Ti e- X), 其 中 gle) 
是 在 区 间 [Mi, An] 上 的 上 一 1 3X Chebyshev 多 项 式 . 详细 的 讨论 见 Kaniel(1966), 
Paige(1971) 或 Saad(1980). 


习 i 


9.1.1 B Ac R^*^ 为 反对 称 矩 阵 , 试 推 导 一 个 计算 反对 称 三 对 角 和 矩阵 Tm 的 Lanczos 
型 算法 , 使 得 AQ, = Q. Tm, 其 中 QnQm = Tm 
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9.1.2 VW AcR"*" ARR, 定义 函数 r(z)] = zT4z/zTz. SCR" 是 一 子 空间 . 
且 任 何 ze sS, A Vr(z) e S, 证 明 S 是 A 的 不 变 子 空间 . 

9.1.3 WI: SME A cR” 有 一 多 重 特征 值 . 则 Lanczos 迭代 提前 结束 . 

9.1.4 ”定理 9.1.1 中 的 指标 m 是 包含 向 量 q 的 4 的 最 小 不 变 子 空间 . 

9.1.5 BR A ER” 对 称 , 考虑 如 下 问题 ; 确定 正 交 序列 gil,ga，… ,qk,"… 使 得 一 
BQ, = [gia] 是 已 知 的 , dry 会 使 we = IU — Qrin) AQ 达到 最 小 .并 证 
H: 车 span{q1,… ,qx} = K(A,q,,h), 则 可 能 选取 gq] 使 得 we = 0. 解释 这 一 优化 问题 
如 何 导出 Lanczos 迭代 . 

9.1.6 $ A € R^*" 对 称 , 我 们 希望 计算 出 它 的 最 大 特征 值 . > 7 为 一 近似 特征 向 量 ， 
a = (n™An)/(n"n),z = An—om. (a) iE: 区 间 [o—6, o--6] 必 包 含 A 的 一 个 特征 值 , 其 中 
6 = |lzll2/|lnll2. (b) 考虑 新 的 通 近 性 = am +bz, 如 何 确 定 实数 a, b, 使 得 a = (ATAR) R) 
BX. (c) 阐述 上 述 计算 与 Lanczos 算法 前 二 步 的 关系 . 


本 节 注 释 与 参考 文献 


Lanczos 方法 的 经 典 参考 文献 如 下 . 
C. Lanczos(1950).“ An Iteration Method for the Solution of the Eigenvalue Problem of Linear 
Differential and Integral Operators,” J. Res. Nat. Bur. Stand. 45, 255-282. 


尽管 上 文 提 到 了 Ritz 值 的 收敛 性 , 为 更 详细 的 了 解 , 我 们 推荐 下 列 参考 文献 . 

S. Kaniel(1966). “Estimates for Some Computational Techniques in Linear Algebra,” Math. 
Comp. 20, 369-378. 

C. C. Paige(1971).“The Computation of Eigenvalues and Eigenvectors of Very Large Sparse 
Matrices,”Ph. D. thesis, London University. 

Y. Saad(1980). “On the Rates of Convergence of the Lanczos and the Block Lanczos Meth- 
ods,” SIAM J. Num. Anal. 17, 687—706. 
有 关 Lanczos 算法 、 正 交 多 项 式 和 和 抢 理论 之 间 联 系 的 讨论 可 见 下 列 参考 文献 . 

N. J. Lehmann(1963). “Optimale Eigenwerteinschliessungen,” Numer. Math. 5, 246-272. 

A. S. Householder(1968).“ Moments and characteristic Roots II,” Numer. Math. 11, 126-128. 

G. H. Golub(1974). “Some Uses of the Lanczos Algorithm in Numerical Linear Algebra,” in 
Topics in Numerical Analysis, ed. , J. J. H. Miller, Academic Press, New York. 
我 们 是 通过 讨论 , 用 Householder 变换 或 Givens 变换 三 对 角 化 必然 有 非 零 元 填充 来 研究 

Lanczos 方法 . 事实 上 , 如 果 小 心 处 理 有 时 可 将 填充 限制 到 可 接受 的 水 准 . 

I. S. Duff(1974). “Pivot Selection and Row Ordering in Givens Reduction on Sparse Matri- 
ces,” Computing 13, 239-248. 

I. S. Duff and J. K. Reid(1976).“A Comparison of Some Methods for the Solution of Sparse 
Over-Determined Systems of Linear Equations,” J. Inst. Maths. Applic. 17, 267-280. 

L. Kaufman(1979). “Application of Dense Householder Transformations to a Sparse Ma- 
trix,” ACM Trans. Math. Soft. 5, 442-450. 
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9.2 ”实用 Lanczos 方法 


合 入 误差 严重 影响 Lanczos 迭代 的 表现 . 其 根本 的 困难 在 于 Lanczos 向 量 之 间 
会 失去 正 交 性 , 这 个 现象 会 搅乱 算法 的 终止 问题 , 并 且 使 得 矩阵 A 的 特征 值 和 三 对 
AE T. 的 特征 值 之 间 的 关系 复杂 化 . 这 一 点 以 及 具有 完美 稳定 性 Householder 
三 对 角 化 方法 的 出 现 , 说 明了 为 什么 Lanczos 方法 在 20 世纪 50 年 代 与 60 年 代 被 
数值 分 析 专 家 所 忽视 . 然而 , 随 着 Kaniel-Paige 理论 的 发 展 ,， 人 们 对 此 方法 的 兴趣 
又 恢复 了 , 因为 伴随 计算 机 运算 能 力 的 不 断 提高 , 解决 大 型 稀 蕊 矩阵 的 特征 值 问题 
迫在眉睫. 通常 只 用 比 ” 少 得 多 的 迭代 次 数 就 能 得 到 很 好 的 两 端 特征 值 的 近似 值 ， 
这 使 Lanczos 方法 作为 稀疏 矩阵 技巧 极 富 吸 引力 , 而 不 是 作为 Householder 方法 的 
“竞争 者 ”. 

要 成 功 地 实现 Lanczos 迭代 , 涉及 的 算法 远 不 止 迭 代 算 法 (9.1.3) 那样 简单 . 在 
本 节 中 , 我 们 概括 地 介绍 几 种 被 建议 用 来 使 Lanczos 方法 实际 可 行 的 实用 思想 . 


9.2.1 精确 的 运算 实现 
TAES (9.1.3) HAAR: 
Qk = qi (Aq 一 Bk-1dk ai); 


则 整个 Lanczos 算法 可 用 2 个 n 维 向 量 的 存储 量 来 实现 . 
算法 9.2.1(Lanczos 算法 )  4& X — HAREM A cR” 和 2 范 数 单位 向 量 
v € R^, 本 算法 计算 出 一 个 kxk MRAM AE Th, 且 入 (Tk) C ACA), 这 里 假定 
CATES ERR Aw 的 函数 A.mult(w). Th 的 对 角 元 和 次 对 角 元 分 别 存 
hb al: k) 5 G(1:k— 1). 
v(1:n) = 0; ho = 1;k =0 
while 5, 4 0 
if k £0, 
for i=lin 
t = wi; wi = vif Bei Vi = — bkt 
end 
end 
v =v + A.mult(w) 
k= k+ 1; ap = wTv;v = v — akw; Be = ||vllz 
end 
注意 , 4 在 整个 过 程 中 没有 改变 . 只 需要 提供 一 个 计算 矩阵 4 与 向 量 乘 积 的 
TRH*A.mult(-). 如果 矩阵 A 平均 每 行 有 i 个 非 零 元 , 则 在 每 一 Lanczos HH, 约 
有 (2i 十 8)n 个 flop. 
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上 述 算法 停止 后 , Te 的 特征 值 可 用 对 称 三 对 角 QR 方法 或 8.5 节 中 任何 特殊 
的 方法 (如 二 分 法 ) 来 计算 . 

Lanczos 向 量 通过 n 维 向 量 w 来 产生 . 如 果 这 些 向 量 以 后 要 用 到 , 就 必须 对 
它们 进行 存储 . 在 典型 的 稀疏 矩阵 的 情况 , 它们 可 存储 在 磁盘 或 其 他 的 辅助 存储 设 
备 , 直到 不 需要 为 止 ， 


9.2.2 REAR 


要 开发 一 个 实际 的 且 易 于 使 用 的 Lanczos 程序 , 需要 利用 Paige(1971, 1976, 
1980) 具有 基石 般 作 用 的 误差 分 析 . 对 他 所 得 的 结果 进行 观察 , 是 启发 本 节 的 几 个 
修正 Lanczos 算法 的 最 好 途径 . 

算法 进行 7 步 后 , 我 们 得 到 由 计算 出 的 Lanczos 向 量 组 成 的 矩阵 @ = lâi da. ^. 
åa) 及 相应 的 三 对 角 和 矩阵 


ay By e 0 
B à» 
T. = t. 
: Bret 
Oo Ber &k 
Paige(1971, 1976) 证 明了 , mA, 是 rk 的 计算 值 , 则 
AQ, = QT + Pep + Ex, (9.2.1) 
其 中 
Exllz = ull Alle. (9.2.2) 


这 说 明 在 机 器 精度 的 意义 下 , 重要 的 方程 4Q = QsTh 十 rkeX 能 得 到 满足 . 
不 幸 的 是 , & 之 间 的 正 交 性 远 不 如 上 面 的 结果 那样 美好 , (正规 性 不 成 问题 ， 
为 Lanczos 向 量 的 计算 值 本 质 上 具有 单位 长 度 ). 车 PB = FIRES), 计算 41 = 
fle / By), 则 简单 的 分 析 可 证 明 Bg, © Pet we, 其 中 ||walle = ulêr © ull Alle. 
因此 , 我 们 可 得 
Peal + ull Alle 
[3 
换 句 话说 , 25 Bs 很 小 时 , 可 能 会 出 现 与 正 交 性 很 大 的 偏离 , 既 使 在 PE Q, = 0 这 一 
理想 情况 下 也 是 如 此 . B, 很 小 意味 着 各 的 计算 将 有 “ 相 消 ”. 我 们 要 强调 的 是 , E 
交 性 的 丢失 是 由 于 这 种 “ 相 消 ”所 引起 的 , 而 不 是 舍 入 误差 积累 的 结果 . 


Bi 9.2.1 sem 
a=] 2.64 p^ 


16 1Gi| m i=1:k. 


—0.48 2.36 
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的 特征 值 为 Xi = 3,42 = 2. de Xf A 用 Lanczos 算法 ， 取 初始 向 量 为 gq, = 
[0.810, —0.586]", 用 三 位 浮 点 运算 , 则 得 Go = [0.707,0.707]T， 正 交 性 失去 了 ， 因 为 
span(qi) 几乎 就 是 A 的 不 变 子 空间 . (Ex = (0.8, —0.6]T. 是 对 应 于 和 1 的 特征 向 
量 .) 

稍 后 我 们 将 给 出 Paige 分 析 的 更 多 细节 . 现在 只 需 说 在 实际 中 总 是 失去 正 交 
性 , 从 而 明显 破坏 全 的 特征 值 的 准确 性 .这 可 通过 (9.2.1) 和 定理 8.1.16 来 量化 . 
特别 地 , 在 定理 中 取 Fi = eX + Er, Xi = Ôp S T, HARE 


T= Èk Êr- alle 
满足 r <1. 则 存在 m, ,ux € MA), 使 得 
lui — AT) < Venlo + Exo +72 + 7)I/Alle), i=1: k. 


控制 因子 7 的 一 个 明显 的 办 法 是 把 新 计算 的 Lanczos 向 量 与 以 前 所 计算 的 Lanczos 
向 量 正 交 化 . 这 导致 了 第 一 个 “实用 ”的 Lanczos 算法 . 


9.2.3 ”完全 再 正 交 化 的 Lanczos 方法 


给 定 rori e rk € R^, 并 假定 已 计算 出 Householder 矩阵 Ho, Hi,- 
Hi 使 得 (HoH. Hpi) [rori e ria] 为 上 三 角形 矩阵 ， 用 [assa 
表示 Householder 矩阵 乘积 (HoH--- Hy i1) HAT kW. 现 假定 给 出 向 量 ry € R^, 
我 们 希望 在 下 述 方向 上 得 到 一 单位 向 量 gey: 


k 
w= re — Y (af ry)q; espanfg > sae} 
i=l 
如 果 选 取 Householder 4ER Hy, 使 得 (HoH;-- Hx) [rorum] 为 上 三 角形 
和 矩阵, 则 HoH, ---H, 的 第 有 + 1 列 就 是 我 们 所 需要 单位 向 量 . 
如 果 把 这 些 Householder 计算 和 Lanczos 算法 结合 起 来 , 就 可 得 到 与 机 器 精度 
ERHI Lanczos 向 量 . 
ro = q1( 给 定 的 单位 向 量 ) 
确定 Householder #24 Ho 使 得 Horo = e1 
& = qi Aqı 
for k=1:n—1 (9.2.3) 
rp = (A — oxI)qk — Bk—19%-1 (090 = 0) 
w = (Hpr-1 + Ho)rk 
确定 Householder 42M Hy 使 得 Hyw = (wi, wk, 0,0, ,0)T 
dkii = HoH ++ Hyept1; Gk = Wri Ade 
end 


这 是 一 个 完全 再 正 交 化 Lanczos 算法 的 例子 ， 更 加 深入 的 分 析 见 Paige(1970). 用 
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Householder 矩阵 来 加 强 正 交 性 的 思想 见 Golub, Underwood, and Wilkinson(1972). 
由 (9.2.3) 计算 出 的 & 与 机 器 精度 无 关 , 这 一 点 可 从 Householder 矩阵 的 误差 
性 质 中 看 出 , 注意 到 , Ha HEX, B = 0 是 没有 影响 的 . 由 于 这 一 原因 , 算法 
可 安全 地 运行 到 上 = 一步 (然而 , 在 实际 中 , 算法 在 一 个 小 得 多 的 大 值 就 停止 ). 
,当然 , 无 论 (9.2.3) 如 何 实现 , 只 存储 Householder HÆ vk, 而 不 会 显 式 地 形成 相 
应 的 Pp. BER HA. : k,1: 有 = 有 我们 没有 必要 去 计算 二 (Hs_1, Ha Hore 
的 前 个 分 量 , 因为 精确 的 运算 会 使 这 些 分 量 为 零 . 

FERE, 在 完全 再 正 交 化 的 计算 中 , 这 些 措施 的 意义 并 不 大 . 因为 在 Lanczos 
算法 的 第 上 步 , 计算 Householder 矩阵 会 增加 O(kn) 个 flop. 此 外 , 为 了 计算 qeri, 
也 要 用 到 相应 于 Ho, Hi,- , Hk 的 Householder HE. 当 m Al k 很 大 时 , 这 通常 
意味 着 无 法 接受 的 数据 传输 量 . 

因此 , 完全 再 正 交 化 要 付出 很 高 的 代价 . 所 幸 的 是 , 有 更 加 有 效 的 算法 可 取 , 但 
这 要 求 我 们 更 加 深入 了 解 正 交 性 是 怎样 失去 的 . 


9.2.4 ”有 选择 的 正 交 化 


Paige(1971) 误差 分 析 的 一 个 惊人 的 且 使 人 栈 笑 皆 非 的 结论 是 : 正 交 性 的 丢失 
与 Ritz SRO OR RI AMO. 确切 地 说 , 假定 对 你 用 QR 算法 , 得 到 Ritz 
值 的 计算 解 Â, ,6 和 一 个 由 特征 向 量 组 成 的 几乎 正 交 的 矩阵 Se = (êp) Æ 
Ye = | 信人 = FS), 则 可 证 明 ， 

all4lla 


MAS i=1:k, (9.2.4) 
EMIT 


CPA RI 


Ap: — 8:g;lla ~ \BellSxil- (9.2.5) 


也 就 是 说 , 最 新 计算 出 的 Lanczos 向 量 ici 倾向 于 在 任何 已 收敛 的 Ritz 向 量 的 方 
向 上 含有 不 可 被 忽视 但 不 需要 的 非 零 分 量 . 因此 , 我 们 不 去 将 år 与 以 前 所 有 计 
算出 的 Lanczos 向 量 正 交 化 ， 而 是 通过 让 它 与 一 个 小 得 多 的 由 收敛 的 Ritz 向 量 组 
成 的 集合 正 交 , 以 达到 同样 的 效果 . 

Parlett and Scott(1979) 讨论 了 用 这 种 途径 来 加 强 正 交 性 的 实现 问题 . 在 他 们 
的 称 为 有 选择 的 正 交 化 技巧 中 , 一 个 计算 的 Ritz 对 (0, y) 被 称 为 是 “好 的 ”, 如 果 
它 满足 : 

Ag — gll = VullAlle. 


—H ĝu 已 被 算出 , 把 它 对 每 个 “好 的 ”Ritz 向 量 正 交 化 . 这 比 完全 重新 正 交 化 效 
率 高 得 多 , 因为 通常 情况 下 好 的 Ritz 向 量 比 Lanczos 向 量 少 很 多 . 

一 种 实现 选择 正 交 化 的 途径 是 在 每 一 步 对 角 化 Tu, 并 根据 (9.2.4) 与 (9. 2.5) 来 
观察 $i. 一 种 更 有 效 的 方式 是 用 以 下 结果 来 估计 正 交 性 丢失 的 度量 I 一 Ô, Qylle. 
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引 理 9.2.1 假定 St =[S,d], S eR ™*, d e R^, de X S BE |Ik- STS] 
p, |1- ddl <6, W Teva — STS Ilo < n, 其 中 


be = Rut 6+ a 62 +4) 87a). 


证 明 ”参见 Kahan and Parlett(1974) 或 Parlett and Scott(1979). m 

因此 , 当 我 们 已 知 [Te — @x Qul 的 界 时 , 就 可 以 对 S = Qu d = ay 用 以 上 
SIRAN (Ter — QQkHall 的 界 . (在 这 种 情形 , 5 u, 且 假定 deu 已 对 当前 
好 的 Ritz 向 量 集 正 交 化 了 ). 不 需要 利用 quss , ,而 只 通过 一 简单 选 代 就 可 估 
计 出 Q, acia 的 范 数 , 见 Kahan and Parlett(1974) 或 Parlett and Scott(1979), 额外 
的 开销 是 很 小 的 , 而 且 当 估计 和 界 显示 已 失去 正 交 性 时 , 就 要 考虑 扩大 好 的 Ritz 向 量 
的 集合 . 之 后 , 并 且 只 有 在 这 以 后 , HT, 对 角 化 . 


9.2.5 ”幽灵 特征 值 问题 


在 设法 构造 一 个 不 涉及 任何 强迫 正 交 性 的 可 行 Lanczos 算法 方面 , 已 付出 了 巨 
大 的 努力 . 这 方面 研究 集中 在 “幽灵 ”或 “虚假 特征 值 问题 . 这 是 指 T, 的 多 重 特 
征 值 , 它们 对 应 于 A 的 单 重 特征 值 . 当 失 去 与 收敛 的 Ritz 向 量 的 正 交 性 后 , 迭代 实 
际 上 重新 开始 , 所 以 会 出 现 这 些 多 重 特征 值 . ( 打 个 比方 , 在 8.2.8 节 的 正 交 失 代 中 ， 
如 果 忘 记 了 正 交 化 , 想象 一 下 会 发 生 什 么 情况 .) 

Collum and Willough(1979) 以 及 Parlett and Reid(1981) 讨论 了 鉴别 和 处 理 这 
些 费 灵 特 征 值 的 问题 . 在 需要 A 的 全 部 特征 值 的 应 用 中 , 这 是 十 分 暴 迫 的 问题 , 因 
为 上 述 正 交 化 过 程 代价 高 得 无 法 实现 . l 

既 使 A 有 一 个 真正 的 多 重 特征 值 , Lanczos 迭代 出 现 困 难 也 是 意料 之 中 的 , 这 
是 由 于 du 是 不 可 约 的 , 而 不 可 约 的 三 对 角 和 矩阵 不 可 能 有 多 重 特征 值 . 我 们 下 一 个 
实用 的 Lanczos 算法 就 是 要 绕 过 这 一 困难 . 
9.2.6 Ik Lanczos 方法 


RATAN AARRE, Lanczos 算法 也 有 块 形式 、 假 定 
n= rp, 考虑 以 下 分 解 : 


Mi BT ee 0 
B; M2 " : 
Q'AQ-T- DEED , (9.2.6) 
T 
. B,_1 
0 ele. Br-1 M; 


其 中 Q =[X),---,X,], Xi e R?” HAIER, M; € RP”, B; c RP? 为 上 三 角形 
矩阵. 比较 AQ = QT 两 边 的 每 一 块 可 得 , 对 于 有 = 1:7 一 1， 
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AX, = Xi ABL 4, X4Myg- XeiiBr, XoBo =0. 
MQ 的 正 交 性 , 我 们 有 
My,—XLAX,, k-l:r. 
此 外 , HS Ry, = AX, — XkMp — Xy B] E RP, 则 Xpy Br = Ry Æ Ry 
的 QR 分 解 . 这 些 关 系 式 建议 我 们 用 如 下 方法 产生 (9.2.6) "PIER —Ó BERE: 
给 定 Xi € RP*?, XT Xi = lp 
Mi = XTAX; 
fork —1:r-1 (9.2.7) 
Ry = AX, — XXMk — Xp-1BP_, (XoBE & 0) 
Xr By = Rk (QR 分 解 ) 
Met1 = XpaAXia 


end 
FESS k 次 循环 的 开始 , 我 们 有 
A[X Xa] = [和 ,KT + Re[0,--- ,0, Tp], (9.2.8) 
其 中 
M, BT ee 0 
B, M; 
T, = ' 
: Bia 
0 e Bri Mpk 


利用 与 定理 9.1.1 的 证 明 类 似 的 方式 , 我 们 可 以 证 明 , 只 要 所 有 的 Re 都 不 是 秩 亏 
的 , 则 X, 是 相互 正 交 的 . 然而 , 如 果 对 某 个 大 有 rank(Re) < p, 则 可 选择 Xii 
的 列 , 使 得 XT, X, — 0,6 1: k, J Golub and Underwood(1997). 

因为 Tr 的 带宽 为 p, 用 Schwartz(1968) 的 算法 可 有 效 地 把 它 化 成 三 对 角 和 矩阵 . 
一 旦 有 了 三 对 角形 式 , 用 对 称 QR 算法 即 可 得 到 Ritz 值 . 

为 了 明智 地 决定 何 时 用 块 Lanczos 方法 , 有 必要 知道 块 的 维 数 怎样 影响 Ritz 
SARC. 定理 9.1.3 的 如 下 推广 阐明 了 这 一 问题 . 

定理 9.2.2 nxn MAEM A 的 特征 值 为 1202 >>> 2 An, 相应 的 规范 
正 交 特征 向 量 为 z1,z2,… ,zn. RR Te AR Lanczos 迭代 (9.2.7) 进行 k 步 后 得 
BMRA AEE, 它 的 p 个 最 大 的 特征 值 为 HI Bp: #4 Zı = [zi ;Zp]; 
县 cos(0,) = os (Z1 X1) > 0, 则 

A È pi 2 À — E$, i=1:p, 


其 中 
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ge (Ai 一 d;)tan* (0p) N= Apt 


i 1+yi D N Ai An ! 
Ck—1 1-5 


ck-1(2) X) k — 1 次 Chebyshev 多 项 式 . 
证 明 JE Underwood(1975) m 
把 上 述 定 理 中 的 A 换 成 -4, NT, 的 最 小 的 特征 值 可 得 到 类 似 的 结果 . 
根据 定理 9.2.2 AR Lanczos 迭代 (9.2.7), 我 们 可 总 结 出 下 面 几 条 性 质 : 
e 随 着 p 的 增加 , Ritz 值 的 误差 界 得 到 改善 . 
e EXT, 的 特征 值 的 工作 量 与 p? 成 正比 . 
e 块 的 维 数 应 至 少 与 任 一 需要 计算 的 特征 值 之 最 大 重 数 一 样 大 . 
Scott(1979) 详细 讨论 了 在 这 些 因素 下 如 何 决定 块 的 维 数 . 
正 交 性 的 丢失 同样 困扰 块 Lanczos 算法 . 然而 , 前 面 介绍 的 强迫 正 交 性 的 所 有 
技巧 都 可 推广 到 分 块 的 情形 . 
9.2.7 s # Lanczos 方法 


WY DEAR AT SR ALAR Lanczos 算法 (9.2.7) 来 计算 A 的 选 定 特征 值 . 为 了 
HHBE, 假定 我 们 要 计算 p 个 最 大 的 特征 值 . 如 果 给 定 矩 阵 X. € R? 是 列 正 
交 的 , 我 们 可 用 下 面 的 方式 计算 . 

until ||AX1 ~ XiTs||e 足够 小 

通过 块 Lanczos 算法 , 产生 Xo,---,Xs € R””?; 
形成 sp x sp 的 p Xf ARE 
Ts = [X1,°° . XJ A[X, tt Xs]; 
H PERM U = fu, ,Usp] 使 得 
U'T.U = diag(1, UU ;gsp)， 2:2 Osp. 
4 Xi = [Xi Xu up] 

end 

这 就 是 分 块 的 s 步 Lanczos 算 法 . Cullum and Donath(1974) 和 Underwood(1975) 
对 它 进 行 了 广泛 的 分 析 . 

同样 的 思想 也 可 以 用 来 计算 A 的 几 个 最 小 的 特征 值 或 最 大 最 小 特征 值 的 混合 
情形 , 见 Cullum(1978). 参数 s 和 p 的 选取 依赖 于 存储 限制 以 及 前 面 讨论 块 维 数 时 
提 到 的 几 个 因素 , 随 着 好 的 Ritz 向 量 的 出 现 , 块 的 维 数 p 可 能 减 小 . 然而 这 要 求 强 
追 与 已 收 全 向 量 的 正 交 , 见 Cullum and Donath(1974). 


习 题 


9.2.1 ”证 明 引 理 9.2.1. 
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9.2.2 E (9.2.7) 中 , Æ rank(Rx) < p, RA range([X1, X2, , X4]) 含有 A 的 特 
征 向 量 吗 ? 
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9.3 MAF Ax =b 和 最 小 二 乘 
在 本 节 , 我 们 将 简要 地 介绍 如 何 把 Lanczos 算法 用 来 解 大 型 稀疏 线性 方程 组 与 
最 小 二 乘 问题 . 更 详细 的 内 容 , 见 Saunders(1995). 
9.3.1 ”对 称 正定 方程 组 
假设 矩阵 A cR” 对 称 正定 , 考虑 函数 


1 
d(x) = at Ax — gib, 


其 中 be R”. 因为 V(x) = Ac — b, Ka =A b E o 的 唯一 极 小 点 . PU, o 的 
一 个 近似 极 小 点 可 看 成 是 Ax = b 的 近似 解 . 
给 定 初 值 zo € R^, 一 种 产生 收 僵 于 z 的 向 量 序列 {x} 的 方法 是 对 上 = 1:1, 
构造 一 列 正 交 向 量 {q,}, E zx 为 $ 在 集合 
go +span{qi,..* ,qr} = {£0 + aig; +--+ + nq, :ak € R} 


中 的 极 小 点 . 如 果 Qa = [qu… ,qxl; 则 这 就 意味 着 寻找 向 量 y € R*, 使 得 


(ao + Quy) = 5 (#0 + Quy)! A(zo + Qy) — (zo + Q.y) b 
= iV (QF AQ, )y - y" QE (b — Axo) + bro) 
达到 极 小 . 观察 该 表达 式 对 y 的 梯度 , 可 知 
Lk = £0 ry; (9.3.1) 
X y, 满足 
(QF AQ)u, = Qg (b — Azo). (9.3.2) 


S k=n 时 , o 在 整个 空间 及 ”上 达到 极 小 , 改 Az. = b. 
当 4 为 大 型 稀疏 矩阵 时 , 为 了 使 求解 过 程 有 效 , 需 克服 两 大 困难 : 
e 线性 方程 组 (9.3.2) 必须 容易 求解 ; 
e 我们 必须 能 够 在 计算 mk 时 不 需要 像 (9.3.1) 那样 显 式 用 到 g1，…… ,gx 否则 
的 话 , 将 会 产生 过 量 的 数据 流动 . 
我 们 将 证 明 , 当 qg, 为 Lanczos 向 量 时 , 这 两 大 困难 都 将 被 克服 . 
Lanczos 算法 进行 大 步 后 , 我 们 得 到 分 解 : 


AQ, = Qi Tr + rkeR, (9.3.3) 
其 中 
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ay fh Ue 0 
B1 o2 : 
T, = Qi AQ = rare . (9.3.4) 
: . Bk~1 
0 + Br-1 Qk 


通过 这 种 途径 , (9.3.2) 变 成 了 一 对 称 正定 的 三 对 角 方 程 组 , 它 可 以 用 LDLT 分 解 来 
迅速 求解 ( 见 算法 4.3.6). 特别 地 , 令 


1 0 0 0 d 0 … 0 
u 1 0 0 0 d 
Li, = . , k= ? 
. . ” : . 0 
0 - pka d 0 > 0 d, 
比较 方程 
T, = LD LF (9.3.5) 
两 边 的 元 素 , 可 得 下 述 算法 : 
di = 01 
fori =2:k 


Li-1 = Bii/dia 
di = oi ~ Bi-1pi-1 
end 
注意 , 为 了 从 Ls_t 和 Dia 得 到 Li 和 Dk, 我 们 只 需 计 算数 值 
Uk—1 = fk-i/dk-i, dk = Qk — ÜBk-ibk-i- (9.3.6) 
正如 我 们 前 面 所 提 到 的 , 有 效 地 计算 (9.3.1) 中 的 zs 是 非常 关键 的 . 为 此 , XE 
义 矩 阵 C, c 及"x* 和 向 量 p, < R* 如 下 : 
CL! = Qs, Li Dep, = Qi (b — Azo). (9.3.7) 
我 们 发 现 ， 若 ro =b- Azo, 则 
ap = £o + QoTE QE ro = £o + Qe(LeDe Le) Qk To = £o + Ckpy- 
对 Cy 作 列 划 分 Cy = [cu €2, ex]. 从 (9.3.7) 可 得 
[c1, i61 + ca , Hk-1€k-1 + Ck] = [01777 , qx] 
因此 , Ce = [Cx-1, cx], 其 中 
Ck = qk — Hk—1Ck-1- 
同样 可 观察 到 , 若 在 方程 组 Zr Dep, = Qrro 中 令 ps = [01,22 pT, 则 方程 组 
变 为 
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n giro 

T 
q» ro 

Lr- Dp 0 p2 
0 --- 0 jy-idk-1| dk : 

T 
. Pk-1 dj, To 
Pk giro 


既然 Lk-1Dk-1Pk-1 = Qi 170; 可 见 


其 中 pp = (giro — pk-idk-ipx-i)/dk. 因此 
Ly = Lo + Cup, = £o + Cy ipi 1 + DkCk = Ek—1 DkCk. 


这 正好 是 我 们 所 需要 的 关于 zk 的 迭代 公式 . 结合 (9.3.6) 和 (9.3.7), 我 们 就 可 用 最 
小 的 工作 量 和 存储 量 完成 从 (qj,_1,ck_1, Tk_1) 到 (qu; ck, te) 的 转变 . 
如 果 我 们 取 gi 为 在 初始 余 量 ro = b — Axo 方向 上 的 单位 向 量 , 则 可 得 到 更 简 
明 的 结果 . 当初 始 Lanczos 向 量 这 样 选取 时 , 有 giro = 0,k > 2. 从 (9.3.3) 可 知 
b— Aa, = b — A(zo + QEYE) 
= To — (QT. + TkEL)Uk 
= ro — QQE To — TREY 
= -TREF Yk- 
因此 , 如 果 在 Lanczos 算法 的 某 步 中 , 有 br = irel = 0 成 立 , 则 Aa, =b. 此 外 ， 
| Aa, — bla = GeleTy,|, 故 在 迭代 的 同时 , 可 得 到 当前 残 量 的 估计 . 综 上 所 述 , 我 们 
有 如 下 算法 . 
算法 9.3.1 BR ACR” 对 称 正定 , DER", zo € R^ 为 初始 向 量 (Azo % 
b), 则 本 算法 计算 出 Az =b 的 解 . 
To = b- Azo 
Bo = |lrolle 
go =0 
k=0 
while Br 40 
Qk41 = Tk/ Êk 
k=k+1 
OX = qi Aqk 
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Tk = (A — oI)qk — Bk-igk—i 


£k = |Irell2 
ifk=1 

di = ay 

Cl 一 人 1 

Bi = Bo/or 

71 = pid 
else 


Lg—1 = Bk-i/dk—i 
dy = Qk — Bk-ipk-ai 
Ck = Gk — Hk—1Ck—1 
Dk = —Hk—-1dk-1Pk-1/dk 
Tk = Tk—1 + DkCk 
end 
end 


T= Tk 
KARRAR E AME RAL JL saxpy 运算 . 它 的 数值 表现 将 在 
下 一 章 讨论 , 那里 它 重 新 被 推导 且 成 为 众所周知 的 共 转 梯度 法 . 
9.3.2 ”对 称 非 定 方程 组 
上 节 中 的 算法 一 个 关键 点 是 求 三 对 角 和 矩阵 Th 的 LDLT ZR. 不幸 的 是 , 当 
A( 因 而 T.) 非 正定 时 , 这 个 分 解 是 不 稳定 的 . Paige and Saunders(1975) 建议 用 T. 
的 “LQ” 分解 来 构造 c, 的 递 推 公式 .确切 地 说 , 在 第 步 , 我 们 有 Givens 旋转 
J1,… Je- 使 得 


di 0 0 0 
€1 do 0 0 
fi e2 ds 0 
TJ Jii Lk = " 
. . . . 0 
0 0 0 © fk-2 ek-l dk 


注意 , 利用 这 一 分 解 , mi 可 表示 为 

Ek = Lo + QkYk = Q,T, Qi = Whksk, 
其 中 Wk = QJ .Jp_1 € 有 R"x*， s, € RF 为 方程 组 Lesk = QiD 的 解 . 观察 这 
些 方程 , Map 以 及 Wh 的 最 后 一 列 ws 的 一 个 容易 计算 的 倍数 , 可 得 出 计算 mr 
的 公式 . 这 就 是 Paige and Saunders(1975) 提出 的 SYMMLQ 方法 . 
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另外 一 种 途径 是 从 (9.3.3) 和 定义 brary = ri 有 


AQ, —Q,T. + Bk qy. iex —-Q, Hy, 
其 中 


这 是 (k--1) x k 的 上 Hessenberg A&IE, 在 Paige and Saunders(1975) 的 MINRES 方 
法 中 起 重要 作用 . 在 该 技巧 中 , z 在 集合 mo -span(qi ,qn} ERME 14z 一 加 2. 
注意 
\|A(@o + Q,y) — bllz = | AQxy — (b — Azo) |l2 
= |Q, Hey — (b — Azo)la = ||H «y — boell, 

这 里 假定 了 q = (b — 4zo)/6。 为 单位 向 量 . 与 SYMMLQ 方法 一 样 , 能 导出 一 些 
递 推 公式 从 而 有 效 地 从 zs_1 计算 zn. 这 涉及 Hr QR 分 解 . 

共 轿 梯度 法 的 表现 将 在 下 一 章 详细 地 讨论 . SYMMLQ 方法 和 MINRES 方法 
的 收敛 性 更 为 复杂 , 其 讨论 见 Paige, Parlett, and Van Detr Vorst(1995), 


9.8.3 XXXI fiL $1 SVD 
假定 UT AV = BASE A c Rmxn 的 双 对 角 化 , 其 中 


U —[u,: uu] UTU =Im, 
V-[u,,.v] VTV = In, 


ay Bi wee 0 
0 a2 7 : 
B= TEN (9.3.8) 
. Bn~1 
0 "e 0 On 


回忆 5.4.3 节 中 的 内 容 , 此 分 解 可 用 Householder 变换 计算 , 它 是 SVD 算法 的 前 端 . 
FERE, 当 A 为 大 型 稀疏 矩阵 时 , 在 Householder 双 对 角 化 过 程 中 , 会 出 现 
FRESE. 因此 , 如 果 能 发 展 一 种 不 必 对 A 做 任何 正 交 变换 的 直接 计算 B 
的 方法 , 将 是 非常 完美 的 事情 . 
和 9.1.2 节 中 的 做 法 一 样 , 对 = 1: n, 比较 矩阵 方程 AV = UB 与 ATU = 
VB" 两 边 的 列 , 可 得 


Av, = apy + Ük-1Uk—1 ug = 0, 
vk kUk t Ük-iuk—i, Goto (9.3.9) 
Alu, = ovk t+ Beveri, Bnvnti = 9. 
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4 ry = Avx-By-i0k-i, py — Al uy—oyvy. 由 单位 正 交 性 可 得 到 o= Elre] ui = 
rk/0o&, Bk = lippi 和 ver = px/Br. 恰当 地 安排 它们 的 顺序 , 可 得 到 双 对 角 化 长 
HEH Lanczos 方法 . 

3& n 维 单位 向 量 (2 范 数 )v1; 

Po = v1; Bo=1;k=0;u=0 


while Br 40 
Vk+1 = Pk/ Bk 
k=k+1 
Tk = Avy — Bk—1Uk—1 
ox = \lrello 
Uk = Tk/ OK 
pk = ATuy — OUR 
Bx = ||pxll2 

end 


如 果 rank(A)=n, 则 我 们 可 以 保证 在 a, 中 不 会 有 零 出 现 . 实际 上 , Æ ak = 0, 
则 span{ Avi, … , Avg} C span{w1,… ,ux-i), 这 说 明 A 是 秩 亏 损 的 . 
车 B = 0, 则 不 难 证 明 : 


Alvi, ttt , UK| = LT Utt ux] Bx, 

A” hun, t , UK| = (v1, e Un By, 
其 中 B, = B(1 : k,1 : k), BW (9.3.8) RRA. Blt, u Mo AAR 
E, H o(By) C o(A). Paige(1974) 讨论 了 Lanczos 双 对 角 化 . 也 可 见 Cullum and 
Willoughby(1985a, 1985b). 在 本 质 上 , 它 等 价 于 把 Lanczos 三 对 角 化 技巧 作用 于 对 


PFE 
0 A 
o=| fe 4l 


我 们 在 8.6 节 开 始 时 就 证 明了 A((C) = ci(4) = —Antm—it1(C), $ — 1: n. 由 于 这 
一 点 , 双 对 角 化 矩阵 的 大 奇异 值 是 4 的 大 奇异 值 的 很 好 近似 也 就 不 足 为 奇 了 . C 的 
内 部 特征 信 对 应 于 4 的 小 奇异 值 , 但 这 没有 很 好 地 近似 . 与 Kaniel-Paige 理论 相当 
的 关于 Lanczos 双 对 角 化 的 定理 , JL Luk(1978) 和 Colub, Luk, and Overton(1981). 
前 两 节 中 的 分 析 、 算法 和 数值 方面 的 讨论 都 可 自然 地 平移 到 双 对 角 化 . 

9.3.4 BORA 


满 秩 的 最 小 二 乘 问题 min|| Aa — bl 可 以 通过 双 对 角 化 来 求解 . 特别 地 ， 


n 
TLs = Vy. = ` Yili, 
i=l 
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其 中 y= [yi,… yal’ ADE By = (uIb,... uIb| 的 解 . 注意 , 因为 B 是 上 双 
WATE, 所 以 只 有 当 B 的 双 对 角 化 完成 之 后 才能 求解 y. 此 外 , 还 必须 存储 向 量 
v ,Vn, 25 n BAN, 这 是 令 人 不 快 的 情形 . 


如 果 将 4 化 成 下 双 对 角形 式 : 
Q1 0 0 
Bi o2 
UTAV-B-— 0 p 
0 On 
0 ve 0 Bn 
0 


基于 双 对 角 化 的 稀疏 最 小 二 乘 算法 之 构造 就 能 很 方便 地 完成 . KEV = [v1,v2,…， 
v4] ALU = [u uo ,Um] RIES. WARE ATU = VB" 与 AV = UB 
两 边 的 列 , 可 得 

AT = Bk_iVk i+ OkUk, Bovo=0, 

Av, = auk + Duk. 
从 这 些 方程 可 直接 给 出 一 个 Lanczos 算法 , CH (9.3.10) 很 相似 , 只 是 wi 为 初始 
向 量 . 

A Vy = [vv] Ux = Put uw], Be = BOL: kt 1l: k), 则 
AV, = Ux By. 我 们 的 目标 是 计算 zx, 使 得 | Az 一 blz 在 所 有 形 为 2 = zot+ Vsy 
的 向 量 集 上 达到 极 小 , 这 里 y e R* 和 wo € Rn AMMAR. BF u = (5 一 
Axo)/||b 一 Axollz, WA 

A(zo + Vey) — b = Uk Bey — 1U prie = Upp (Bey — Fier), 
其 中 et = Da 1). 由 此 可 知 , Æ y, 为 (k 十 1) x 天 下 双 对 角 最 小 二 乘 问题 
min|| Brriy — G1e:\l2 


的 解 , 则 m. = zo + Vay, 既然 By 为 下 双 对 角 和 矩阵 ， 容 易 计 算 Givens 旋转 


Ji,J2,.- Jk; 使 得 


为 上 双 对 角 和 矩阵 ， 若 Jy JUF b = |“ | : , UA m; = to + Vey, = 


Wade, 其 中 Wi = VpRi!1. Paige and Saunders(1982a) 指出 如 何 用 一 个 简单 的 递 
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FEM cuoi 得 到 zk, 递 推 涉及 Wi 的 最 后 一 列 . 这 样 得 到 一 个 称 为 LSQR KR 
最 小 二 乘 算法 , 这 仅 需 要 少数 几 个 n 维 向 量 的 存储 空间 . 


习 题 


9.3.1 ”修改 算法 9.3.1, 使 得 它 能 够 对 9.3.2 节 中 的 对 称 非 定 问题 进行 计算 . 

9.3.2 ”为 了 有 效 地 进行 (9.3.10), 需 多 少 向 量 存储 空间 ? 

9.3.3 ”假定 A 是 秩 亏 损 的 , EL (9.3.10) 中 ax = 0. 怎样 确定 un, 使 得 迭代 能 进行 下 去 ? 
9.3.4 ”设计 出 (9.3.10) 的 下 双 对 角形 式 , 并 详细 给 出 9.3.4 节 中 所 概括 的 最 小 二 乘 算法 ， 


本 节 注 释 与 参考 文献 


本 节 中 很 多 材料 取 自 下 列 文章 : 

C. C. Paige(1974). “Bidiagonalization of Matrices and Solution of Linear Equations,” SIAM 
J. Num. Anal. 11, 197—209. 

C. C. Paige and M. A. Saunders(1975). “Solution of Sparse Indefinite Systems of Linear ` 
Equations,” SIAM J. Num. Anal. 12, 617—629. 

C. C. Paige and M. A. Saunders(1982a).“LSQR: An Algorithm for Sparse Linear Equations 
and Sparse Least Squares,” ACM Trans. Math. Soft. 8, 43-71. 

C. C. Paige and M. A. Saunders(1982b). “Algorithm 583 LSQR: Sparse Linear Equations 
and Least Squares Problems,” ACM Trans. Math. Soft. 8, 195-209. 

M. A. Sanders(1995). “Solution of Sparse Rectangular Systems,” BIT 35, 588-604. 

也 可 参见 Cullum and Willoughby(1985a, 1985b) 以 及 : 

O. Widlund(1978). “A Lanczos Method for a Class of Nonsymmetric Systems of Linear 
Equations,” STAM J. Numer. Anal. 15, 801-812. 

B. N. Parlett(1980).“A New Look at the Lanczos Algorithm for Solving Symmetric Systems 
of Linear Equations,” Lin. Alg. and Its Applic. 29, 323-346. 

G. H. Golub, F. T. Luk, and M. Overton(1981).“A Block Lanczos Method for Computing the 
Singular Values and Corresponding Singular Vectors of a Matrix,” ACM Trans. Math. 
Soft. 7, 149-169. 

J. Cullum, R. A. Willoughby, and M. Lake(1983). “A Lanczos Algorithm for Computing 
Singular Values and Vectors of Large Matrices,” SIAM J. Sci and Stat. Comp. 4, 197 一 
215. 

Y. Saad(1987).“On the Lanczos Method for Solving Symmetric Systems with Several Right 
Hand Sides,” Math. Comp. 48, 651-662. 

M. Berry and G. H. Golub(1991). “Estimating the Largest Singular Values of Large Sparse 
Matrices via Modified Moments,” Numerical Algorithms 1, 353-374. 

C. C. Paige, B. N. Parlett, and H. A. Van Der Vorst(1995). “Approximate Solutions and 
Eigenvalue Bounds from Krylov Subspaces," Numer. Linear Algebra with Applic. 2, 
115-134. 


9.4 Arnoldi 方法 与 非 对 称 Lanczos 方法 445 


9.4 Arnoldi 方法 与 非 对 称 Lanczos 方法 


WREE A 非 对 称 , 则 正 交 三 对 角 化 QI4Q = T 一 般 不 存在 . 这 时 有 两 种 方 
法 来 处 理 . 一 种 是 Arnoldi 方法 的 , 其 基本 思想 是 一 列 一 列 地 产生 正 交 和 矩阵 Q, 使 
18 Q'AQ = H X Hessenberg 约 化 , 见 7.4 节 . 另 一 种 方法 是 非 对 称 Lanczos Jj 
法 , BSE Q = [qj,… ,qn] 和 P = [p picco Pp] 的 列 , 使 PAQ =T E 
三 对 角 和 矩阵 且 PTQ = In. 对 于 大 型 非 对 称 稀 朴 矩阵 的 特征 问题 , 这 两 种 方法 都 很 
AR, 它们 也 都 可 用 来 解 非 对称 稀 朴 的 方程 组 Aw = b. ( 见 10.4 节 .) 


9.4.1 基本 的 Arnoldi 和 迭代 


把 Lanczos 方法 推广 到 非 对 称 矩 阵 的 一 种 方式 归功 于 Arnoldi(1951), 它 利用 
Hessenberg 约 化 QT AQ = H. 特别 地 , WH Q = [qi,q2,… ,qnl， 比较 方程 AQ = 
QH 两 边 的 列 可 得 


k+1 
Aq, = So hindi: 1<k<n-l. 


é=1 


把 上 述 和 式 中 的 最 后 一 项 分 离 出 来 可 得 


k 
hk+1,klk+1 = Alk 一 > hikq; := Tk, 


ici 
其 中 hy, = gl Aq, i=1:k. 由 此 可 知 , 车 re 7 0, 则 quí, 可 通过 下 式 来 确定 : 
ar41 = TR/ hii, E, | 
其 中 hei lr 这 些 方程 定义 了 Arnoldi 算法 , 与 对 称 的 Lanczos 算法 (9.1.3) 
类 似 , 我 们 得 到 
To — di 
hio — 1 
k=0 
while(hi+1,k # 0) 
dati = Tk/hk+1,k 
k=k+1 
Tk = Ádk 
fori=1:k (9.4.1) 
hik = Qh w 
Tk = Tk — hing 
end 


hy = llrelle 
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end 
我 们 假定 q 为 给 定 的 2 范 数 单位 初始 向 量 . gx MA Arnodi 向 量 , 它们 构成 了 
Krylov 子 空间 K(A,q,,k) 的 一 组 标准 正 交 基 : 


span{q1,.…* ,qr} = span(qi, Aqi, , AR qi}. (9.4.2) 
TER k 步 以 后 , 算法 的 运行 情况 可 用 第 k 步 Arnoldi 分 解 来 概括 : 
AQ, = Qi He + reek: (9.4.3) 
其 中 Qk = [qi; d5,''* , di]; ex = Ix(:, k), 
hi Joe Dl. hik 
ha hag 5 >= Pak 
Hy — 0 h32 : 
O c -> hkk- Pkk 


如 果 ry = 0, W Q, 的 列 组 成 了 一 不 变 子 空间 , 且 和 (Hs) € ACA). 否则 , 问题 的 焦 
点 是 如 何 从 Hessenberg 48 Hy 和 Arnoldi a] EEZH RAH Q, 中 提取 有 关 A 的 
特征 信息 . 

车 ye Rr 为 Hi 的 2 范 数 单位 特征 向 量 , Hey = Ay, WM (9.4.3) 可 得 


(A — AI)z = (et y)rs, 


其 中 z= Qy. 我 们 称 AW Ritz di, z 为 相应 的 Ritz 向 量 . 3 lefylllrelle 的 大 小 
可 用 来 衡量 误差 界 , 虽然 相关 的 扰动 理论 不 像 对 称 矩 阵 的 情况 那样 有 章 可 循 . 
Wilkinson(1965,382 Ji) 讨论 了 Arnoldi BRIBE ETEME. 和 对 称 矩 
阵 的 Lanczos 迭代 一 样 , 向 量 q 间 的 正 交 性 也 会 丢失 . 要 得 到 实用 的 Arnoldi 特征 
值 算法 , 必须 注意 (9.4.1) 的 两 个 其 他 特征 : 
e EZ k 步 要 用 到 Arnoldi 向 量 q1,92，… ,gr B. Hk(1: k, k) 的 计算 需要 O(kn) 
A flop. Ej Jt, 当 产 生 一 长 串 Arnoldi MEH, 要 付出 很 高 的 代价 . 
e Hy, 的 特征 值 并 不 按照 Kaniel 和 Paige 方式 近似 A 的 特征 值 . 这 与 对 称 时 能 
很 快 显露 A 的 两 端的 特征 值 信息 形成 了 鲜明 的 对 比 . 在 Arnoldi FAP, 能 否 
较 早 得 到 特征 值 的 信息 强烈 依赖 于 qi 的 选取 . 
这 些 事实 表明 , 在 使 用 Arnoldi 方法 时 , 应 当 反 复 地 、 仔细 地 选择 重新 开始 以 
及 控制 最 大 迭代 迭代 . (回想 9.2.7 节 中 的 s 步 Lanczos 方法 .) 


9.4.2 EFI Arnoldi 方法 


考虑 Arnoldi 算法 运行 m 2b m, 从 Arnoldi 向 量 gj,:… ,gy 的 生成 空间 中 选 
取 一 向 量 qg, 再 重新 运行 Arnoldi SEXE. 由 关系 式 (9.4.2) Aa, ARREA: 
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q+ = p(A)qi , 


其 中 p(x) 为 某 个 不 高 于 mm 一 1 次 的 多 项 式 . WR Av; = Avii = 1: n, qı 有 特征 
向 量 展开 式 : 


qı = 01U1 t: d nUn, 


TW q, = aip(u)vi + +++ 十 anp(An)vn. 注意 , 空间 K(A, qm) 在 pO) 强调 的 特 
征 向 量 上 占 优势 . 也 就 是 说 , 如 果 P(Awantea) 比 P(Aunwantea) 要 大 , 则 Krylov 空间 
K(A,q,, m) 对 特征 向 量 zwantea 的 近似 比 对 zunwantea 的 近似 要 好 得 多 . (可 以 用 
Schur 向 量 和 不 变 子 空间 来 进行 这 一 讨论 , 而 不 必 涉 及 特定 的 特征 向 量 .) 

因此 , 从 K(A,q,, m) 中 选取 一 个 好 的 重 开始 向 量 9+ 就 是 挑选 一 多 项 式 “ 过 
滤器 ”, 用 来 除去 谱 中 不 需要 的 部 分 . 有 许多 不 同 的 实用 方法 是 基于 已 计算 的 Ritz 
向 量 , 见 Saad(1980, 1984, 1992). 

我 们 介绍 Sorensen(1992) 的 一 种 方法 , 它 隐 含 地 应 用 带 位 移 的 QR 迭代 来 确定 
新 的 重 开始 向 量 . 每 经 m 步 以 后 重新 开始 . 我 们 假设 m > j, 其 中 7 为 所 需要 的 特 
征 值 的 个 数 . Arnoldi 长 度 参数 m 的 选取 依赖 于 维 数 n、 正 交 性 丢失 的 影响 和 机 器 
的 存储 限制 . 

经 m 步 后 , 有 Arnoldi 分 解 

AQ, = Q.H. + roeenm, 

其 中 Q, emm 的 列 正 交 , He c R"x™ 为 上 Hessenberg sate A QTr, = 0. 这 里 
下 标 “c” 代 表 “ 当 前 (current)”. 把 带 位 移 的 QR ERMA Ae: 

HD =H. 

fori=1:p 

HO — pl = VR 
HOY) = RiVi + uil 

end 

H, = H+) 
这 里 p = m 一 j 并 假设 应 用 了 7.5.5 节 中 的 隐 含 带 位 移 的 QR 过 程 . 我 们 将 简要 地 
讨论 位 移 的 选取 . 

正 交 和 矩阵 V —Vi V. 有 三 条 重要 的 性 质 : 

(1) H} = VT H,V, 这 是 因为 VIHVi= HO, 

(2) [V]; = 0,22 1: — 1. 这 是 因为 每 个 Wi 都 是 上 Hessenberg #24, 从 而 
VeRn*" AER E p =m —j. 

(3) V 的 第 一 列 有 如 下 形式 : 

Ve; = o(H, — upI)(Hc — up-il) (Hc — Der, (9.4.4) 


其 中 a ARE. 
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为 了 验证 性 质 (3), 只 需 考虑 p = 2 的 情形 : 
VR;R, = VV RR = Vi(H® — pot) Ri 
= V (VI HOV — wDRi= (HO) — yj D)ViR, 
= (HO — ijr) (HO) — pI) = (He — uoI)(H. — mT). 
因为 RoR 为 上 三 角形 矩阵 , 矩阵 V = ViV 的 第 一 列 为 (Hc 一 uaI)(He— mI) 
的 第 一 列 的 倍数 . 
现在 , 我 们 说 明 如 何 利 用 和 矩阵 V 隐 舍 地 选取 新 的 初始 向 量 来 重 开始 Arnoldi 
WH. 从 性 质 (1) 可 得 (9.4.3) 的 变换 形式 : 
AQ, =Q, H4 c reel V, 
其 中 Q, = Q.V. 这 并 不 是 一 个 长 度 为 m 的 新 的 Arnoldi 分 解 , AA eZ V 并 不 是 
eT 的 倍数 . 然而 由 人 性质 (2) 有 
AQ+(:,1: 9) = Q«(,1 ‘H+ (1 2 G1: j) + Umjtee; ; (9.4.5) 
这 是 一 个 长 度 为 了 的 Arnoldi 分 解 . 在 j +1 步 “ 跳 到 ”基本 的 Arnoldi 迭代 并 运行 
步 . 我 们 可 以 把 (9.4.4) e kal m 的 Arnoldi 分 解 . 此 外 , 利用 性 
Jf (3), 相应 的 初始 向 量 gl" = 84(:, D 有 下 述 特征 ; 
Q.(,1) = Q,Vei = aQ,(He — Hf) -+ (H. — uiI)ei 
— o(A - up): (A — iiID)Qcei. (9.4.6) 
最 后 一 步 用 到 了 等 式 
(A — |uI)Q, = QH — pI) + rem 
以 及 eZ f(H.)ei = 0 对 任意 不 高 于 p — 1 次 的 多 项 式 成 立 . 
因此 , g = p(A)g,, 其 中 p(A) 是 多 项 式 
p(A) = (A - m) — ba) Oc — Hp). 
这 表明 这 些 位 移 是 “过 滤 ” FIANE 位 移 的 一 种 有 趣 的 选择 是 计算 AH.) 
且 确 定 有 用 的 特征 值 Ni, do, - 
XH.) = Qu AU Dus 


A> m= npi= 1: p 这 就 产生 了 一 个 “过 泪 ” 多 项 式 ， 降低 了 谱 中 不 需要 的 部 分 
之 影响 . 

这 里 我 们 只 介绍 了 隐 含 重 开 始 的 Arnoldi 方 法 的 非常 基本 的 部 分 . 该 方法 有 许 
多 吸引 人 的 特性 . 实现 细节 和 进一步 分 析 见 Lehoucq and Sorensen(1996) 以 及 Mor- 
gan(1996). 
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9.4.3” 非 对 称 Lanczos 三 角 化 


另 一 种 推广 对 称 Lanczos 方法 的 做 法 是 用 一 般 的 相似 变换 将 4 化 为 三 对 角形 
x. 假定 A ce n^, 存在 非 奇 异 和 矩阵 Q 使 得 


o1 yi "m 0 
fi a» : 
Q 14Q =T= . 
Yn- 
0 Bn-1 On 
利用 如 下 列 划分 : 


Q= CIRE U Qn]; 
QT- P= [pic s Pnl» 


比较 方程 AQ = QT 5 ATP = PTT 两 边 的 各 列 , 我 们 发 现 : HF k=1:n-1, 


Aq, = Yk-14k-1 +. Okdy 十 Pkak+1» 7090 = 0, 
A™ py = Bk-1Py-1 + RPE + VkPr41 PoPo = 0. 


这 些 方程 和 双 正 交 性 条 件 PTQ = In 意味 着 
ok = Pk dy, 
Peder = Tk = (A — ox D)qy — "k-1dk—i 
Pro = Sk = (A — oT)" py — Bk-ipk-i- 
在 选择 数 B 和 y. 时 有 一 定 的 自由 度 . 注意 到 
1 = pida = (8/0). (Te/ Br): 


—H Bn 确定 了 , 就 有 w = sb re/ Be. 选择 br 为 “标准 形式 ”: Bk = |lrelle, 就 得 下 
列 算法 : 
给 定 2 范 数 单位 向 量 pga, Apra £0. 


k=0 

go = 0; ro = 1 

po = 0350 = Pi 

while(rk #0) ^ (sx #0) ^ (stra £ 0) 
Br = |lrelle 
Yk = SETk/ Dk 
dk41 = Tk/ Bk 


Pk+1 = Sk /^fk 
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k=k+1 (9.4.7) 
ak = pg Adk 

Tk = (A — axl) gk — Yr—-19k-1 

Sk = (A — a1)" px — Bk-1iPk-i 


end 
如 果 令 
a Yi 0 
Bi o2 
Tk = 
' ^fk—1 
0 Bk-i Qk 
则 在 上 述 循环 的 底部 , 情况 可 概括 为 以 下 方程 : 
Ajay ,gk] = [gg 了 + rrek, (9.4.8) 
AT[p1,.… Di] = [pcc ,Pk]TRE + skeg. (9.4.9) 


若 m = 0, 则 循环 结束 , span{q1,… ,qs} 为 A 的 一 不 变 子 空间 . 若 sk = 0, 则 循 
环 也 结束 , span{p1,… ph} 为 AT 的 一 不 变 子 空间 .然而 , 当 这 些 条 件 不 成 立 且 
sir, =O 时 , 三 对 角 化 过 程 将 终止 , 但 得 不 到 任何 不 变 子 空间 的 信息 . 这 种 情况 称 
为 严重 失败 . 关于 此 问题 早期 的 讨论 见 Wilkinson(1965, 389 页 ). 

9.4.4 “向 前 看 ”的 技巧 


研究 一 下 算法 (9.4.7) 的 块 形式 中 的 严重 失败 现象 是 很 有 趣 的 . 为 简单 起 见 , 假 
定 ACR™ n= rp. 考虑 分 解 


Mı CI ee 0 
Bı Mz : 
PTAQ= SEES , (9.4.10) 
: Cra 
0 ttt B,-1 M, 


其 中 每 一 块 都 是 p x p BY FFE. 设 Q = [QQ ,Q,],P = [PPa , Pr| 
为 QQ 和 己 恰 当 的 分 块 形式 . 比较 AQ = QT 和 ATP = PTT 两 边 相应 的 列 块 ， 
可 得 

Qi41 Be = AQ, 一 QM 一 Qi aCta = Rx, 

Pk41Ck = ATP, — P.M} — Py 1BLa = Sx. 


JER, My = PTAQ,. € STR, c R?*? FRR, 我 们 计算 By, Cx € RP, 使 得 
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Ci By = SE Ri, 

则 
Qi = RB}! (9.4.11) 
Pri = S,C,1 (9.4.12) 


WE PLIQL = 五 . 4 SER. 奇异 时 , 就 会 出 现 严重 失败 现象 , 

一 种 解决 (9.4.7) 中 严重 失败 问题 的 方法 是 寻找 形 如 (9.4.10) 的 分 解 , 其 中 决 
的 大 小 能 动态 地 确定 . 粗略 地 讲 , 矩阵 Quyi 和 Pus 用 一 些 特殊 的 递 推 关系 一 列 
一 列 地 形成 , 这 些 递 推 关 系 可 计算 非 异 矩阵 PQ... 适当 安排 计算 的 顺序 , 使 
得 双 正 交 性 条 件 PT Qi =0 Ql Pi = 0 对 所 有 的 i= 1 :kk 成立. 

这 种 方法 属于 一 种 称 为 向 前 看 Lanczos 方法 族 . 向 前 看 步 的 长 度 是 它 产生 Qu 
和 PL, 的 宽度 . 如 果 这 种 宽度 为 1, 则 可 利用 传统 的 分 块 Lanczos 2b. Parlett, 
Taylor, and Liu(1985) 讨论 了 长 度 为 2 的 向 前 步 . 他 们 提出 了 “无 法 补救 的 失败 ”的 
概念 . Freund, Gutknecht, and Nachtigal(1993) 概括 了 一 般 的 情况 ， 并 讨论 了 算法 的 
许多 细节 . 考虑 浮 点 运算 时 , 需 处 理 “ 近 似 ” 严 重 失 败 的 情况 . 在 实际 计算 中 , 每 个 
2 x 2 的 或 更 高 阶 的 My, 都 相应 于 近似 严重 失败 的 情况 . 


习 题 


9.4.1 WEW (9.4.1) 中 的 Arnoldi 向 量 是 相互 正 交 的 . 

9.4.2 证明 (9.4.4). 

9.4.3 ”证 明 (9.4.6). 

9.4.4 ”给 出 一 个 初始 向 量 的 例子 , 使 得 非 对 称 Lanczos 3&4& (9.4.7) 中 断 , 且 没 得 到 任 
何不 变 子 空间 的 信息 . 利用 矩阵 


9.45 B H c R?*^ 是 上 Hessenderg ÆRE, 斌 讨论 如 何 计算 一 单位 上 三 角形 矩阵 
. U, 使 得 HU =UT, 这 里 T 是 三 对 角 和 矩阵 . 
9.4.6 ”说 明 在 非 对 称 情形 中 , 求 特征 值 的 QR 算法 不 能 保持 三 对 角 结 构 . 
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第 10 章 ”线性 方程 组 的 迭代 解法 


上 一 章 , 我 们 介绍 了 如 何 用 Larczos 迭代 解 各 种 各 样 的 线性 方程 组 和 最 小 二 乘 
问题 . 这 些 方法 适用 于 大 型 稀 玖 问题 , 因为 它们 不 需要 相应 的 矩阵 分 解 . 本 章 将 继 
续 讨 论 具 有 这 类 性 质 的 线性 方程 组 的 解法 . 

10.1 THEAT EARR: Jacobi HEAR. Gauss-Seidel HEAR. AM 
超 松弛 选 代 和 切 比 雪夫 半 和 迭代 等 , 这 些 方法 的 介绍 之 所 以 很 简要 是 因为 我 们 本 章 的 
BARBRA, 在 10.2 节 中 , 我 们 从 最 速 下 降 法 自然 地 发 展 到 这 种 重要 的 
技巧 , 回想 一 下 , 在 9.3 节 中 , 我 们 在 Lanczos AP ROR T FO. 这 里 
又 导出 这 一 方法 , 是 因为 它 有 一 些 实用 的 变化 形式 , 这 便 是 10.3 节 的 主要 内 容 . 在 
10.4 节 , 我 们 将 其 推广 到 非 对 称 的 情形 . 

我 们 提醒 读者 , 本 章 中 的 一 些 记号 不 太一 致 . 在 10.1 节 中 , 所 介绍 的 方法 建立 
1E (4,3) 层次 ”, 故 需 用 上 标 : z(* 表示 向 量 za 的 第 ; 个 分 量 . 在 其 他 节 中 , 算法 
不 需要 显 式 利 用 矩阵 (向 量 ) 的 元 素 . 因此 , 在 10.2 节 ~10.4 节 中 , 我 们 不 用 上 标 ， 
记 向 量 序列 为 (24). 
预备 知识 

阅读 本 章 , 需要 掌握 第 1 章 、2.1 节 ~2.5 55.2.7 38. 第 3 章 以 及 4.1 节 ~4.3 
节 的 知识 . 本 章 各 节 间 的 关系 如 下 : 

第 9 章 
| 
10.145 — 10.245 一 10.3 55 — 10.459 


1 
TAS 


关于 迭代 法 的 专著 包括 Varga(1962), Young(1971), Hageman and Young(1981), 
以 及 Axelsson(1994). Barrett et al (1993) 给 出 软件 的 “模板 ”十 分 有 用 . 有 时 , 更 
偏向 于 用 直接 GEER) 方法 解 大 型 稀疏 问题 . 见 George and Liu(1981) 以 及 Duff, 
Erisman, and Reid(1986). 


10.1 标准 的 迭代 方法 


在 第 3 章 和 第 4 章 中 , 线性 方程 组 的 解法 涉及 系数 矩阵 A 的 分 解 . 这 类 方法 
称 为 直接 法 . 当 A 是 大 型 稀疏 矩阵 时 , 直接 法 不 可 行 , 因为 所 求 的 分 解 因子 是 稠密 
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的 . 当 A 是 带 状 时 (参见 4.3 节 ), 是 一 个 例外 . 然而 , 在 许多 带 状 和 矩阵 问题 中 , 甚至 
带 本 身 也 是 稀疏 的 , 使 得 许多 诸如 带 状 Cholesky 分 解 等 算法 也 难以 实现 . 

对 稀疏 线性 方程 组 的 解法 感 兴 趣 的 一 个 理由 是 , 能 数值 求解 偏 微分 方程 的 重要 
TE. 事实 上 , 许多 目前 通用 的 稀疏 矩阵 技术 是 由 偏 微分 方程 数值 解 的 研究 人 员 所 提 
出 的 . 

粗略 地 说 , 解 稀疏 问题 Ar = b 有 两 种 方法 . 一 种 方法 是 选 直接 法 , 利用 A 的 
稀疏 性 作 适 当 修 改 . 典型 的 修正 策略 涉及 巧妙 地 利用 数据 存储 结构 和 特殊 的 选 主 元 
技巧 , 使 得 填充 极 小 . 

与 直接 法 相对 的 是 迭代 法 . 这 类 方法 产生 近似 解 序列 (290), 矩阵 4 RES 
阵 与 向 量 相 乘 时 才 用 到 . 迭代 法 的 好 坏 主要 集中 体现 在 迭代 序列 {2} 的 收敛 速 
BE E. 在 本 节 , 我 们 将 给 出 几 种 基本 的 迭代 方法 , 讨论 它们 的 实际 实现 , 并 证 明 几 个 
关于 它们 表现 的 具有 代表 性 的 定理 . 
10.1.1 Jacobi AKA Gauss-Seidel 3&1X 


最 简单 的 迭代 法 可 能 是 Jacobi BR. 它 对 主 对 角 元 非 零 的 矩阵 才 有 意义 . 在 
3x3 的 问题 Ac = b 中 , 方程 等 价 于 : 
zı = (by — a1273 一 a1323)/011, 
£9 = (b2 — a2121 — a2323)/a22; 
$3 = (b3 — ag121 — 03212)/ 033. 
假设 rO 是 x = Amd 的 一 近似 , 则 产生 新 的 近似 解 z+ 的 一 种 很 自然 的 方法 
AW: 


gtd = (b 一 ans? 一 al3z 的 ))/aal， 
af) = (b2 一 az f? 一 02324) /a22, (10.1.1) 


(o — azz )/ a33- 


这 就 是 n= 3 时 的 Jacobi 迭代 . 对 一 般 的 n, 和 迭代 公式 如 下 : 


for i=1:n 


i-i n 
"E (o - Sava - Y as") / ais (10.1.2) 
jel j=it+l 


一 (bs 一 0314 


end 
注意 , 在 Jacobi BACH, 计算 of) 时 没有 利用 最 新 得 到 的 信息 . 例如 , 即使 oft? 
已 知 , 计算 oth) 也 只 是 用 到 了 ol), 如 果 我 们 修改 Jacobi EAR, 使 得 每 次 都 用 准 
WMA z; 的 最 新 估计 , 则 得 如 下 算法 : 


for i=1:n 


t-1 
zetD 一 (s -Fayet — 
j=l 


"n 
»» aya) fs (10.1.3) 


j=i+1 


end 


456 第 10 章 线性 方程 组 的 迭代 解法 


这 就 是 所 谓 的 Gauss-Seidel 迭代 . 
上 面 两 种 迭代 都 可 用 和 盾 阵 L, D,U 来 简明 地 表达 从 H 到 ct) 的 转移 . 定 
义 
0 0 ... e. 0 
0531 0 
L- a31 432 0 |" 
: 0 0 
Qni Qn2 ` ann-l 0 
D = diag(all,… , ann) (10.1.4) 
0 ài «Gin 
0 0 : 
U=)0 0 An—2,n 
Qn—1,n 
0 0 0 0 


特别 地 ，Jacobi 迭代 具有 形式 Myc!) = Nya) +b, 其 中 M; = DN; = 
~(L+U). 4b, Gauss-Seidel 和 迭代 可 用 Maa ^^? = New) + 来 表达 , 这 时 
Ma=L+D,No=—U. 

10.1.2 ”矩阵 分 裂 和 和 迭代 收敛 性 


Jacobi 方法 和 Gauss-Seidel 方法 是 一 个 大 的 迭代 方法 族 : 
Mat) = Ne) +6 (10.1.5) 
的 典型 代表 , 这 里 4 = M -N 是 矩阵 4 的 一 个 分 裂 . 为 了 使 迭代 (10.1.5) KH, 
AM. 作为 系数 第 阵 时 线性 方程 组 必须 容易 求解 . 在 Jacobi 迭代 和 Gauss-Seidel 3 
代 中 , M. 分 别 是 对 角 抢 阵 和 下 三 角形 矩阵 . 
(10.1.5) 产生 的 迭代 序列 是 否 收 全 到 解 m = Ab 取决 于 MUN 的 特征 值 . 
为 此 , 定义 n xn 矩阵 G 的 谱 半 径 为 
p(G) = max(|A| : A € A(G)}. 
pUM-LN) 的 大 小 对 (10.1.5) 的 收敛 性 极为 重要 . 
定理 10.1.1 KbCR Ff A=M-NER™ £45, de M 非 奇 异 
且 MN 的 谱 半 径 满足 p(M “1N) <1, 则 对 任何 初始 向 量 nO, 由 Malt) = 
Na +b 产生 的 移 代 序列 {0} KAR m — A'b. 
证 明 记 e — x09 — x 为 第 大 步 欠 代 的 误差 . 由 Mge = Nz+b 可 得 
M(2*+) — æ) = N(z — e). 因此 c0 中 的 误差 为 
e+) — M^! Ne") = (MN) He, 
由 引 理 7.3.2 可 知 (M IN)* 一 0 当 且 仅 当 p(M 1 N) « 1. 口 
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对 研究 按 下 列 思 路 所 构造 的 算法 , 这 一 结果 是 至 关 重 要 的 . 

ed, 入 分 裂 成 入 = IM -使 得 线性 方程 组 Mz —d 容易 求解 ; 

e LS) HARE G — MIN 满足 p(G) < 1 HH. 

e 给 出 关于 p(G) 的 一 些 进 一 步 的 结果 , 分 析 误 差 e™ Xe pb ut T E. 

例如 , 考虑 Jacobi 迭代 Dal) = —(L - U)z 9 +b, 保证 (M5 Nj) « 188 
一 个 条 件 是 严格 对 角 占 优 . 实际 上 , 车 A 有 此 性 质 ( 见 3. 4.10 5), 则 

(M; Nj) «| D(L +U) |o= m pax = 
Igi 
通常 , NAB OR, 收敛 速度 就 越 快 , 但 也 有 反例 , 见习 题 10.1.7. 

为 了 证 明 Gauss-Seidel 迭代 对 于 对 称 正定 矩阵 是 收 全 的 ， 需要 一 个 关于 谱 半径 
的 更 为 复杂 的 结果 . 

定理 10.1.2 Æ Ac R?*" 对 称 正定 , 则 对 任何 初始 值 2, Gauss-Seidel 选 
代 (10.1.3) ISK. 

证 明 把 A HR A — L+D+L', 其 中 D = diag(aii), 工 为 严格 下 三 
角形 矩阵 .根据 定理 10.1.1, 只 需 证 明和 矩阵 G = -(D + LLT 的 特征 值 在 单 
位 国内 既然 D 是 正定 的 , 我 人 有 Gi = D'^GD^^ = -(I + LZ) LT, 其 中 

= D-12LD-!/2. 因为 G 与 Gi 的 特征 值 相同 , 我 们 只 需 证 明 p(G1) < 1. # 
" = Xx, gtg = 1, lll -LTz = A(I + Lje, Bk c LT = A + xf Lum) & 
zHLiz-—a- ib, WA 
|A? = lcm = ete 7 
1-c2a-bi 1-r2a-4- a2 + 0? 
然而 , 由 于 DAD? = 了 I+ Li - Lt 正定 , 不 难 证 明 0 < 12-28 Liz -zP L1 o = 
1+ 2a, 这 意味 着 | 和 | < 1. 口 

这 一 结果 经 常 被 引用 ， 因为 很 多 燃 贺 型 偏 微分 方程 离散 化 以 后 得 到 的 矩阵 党 是 

对 称 正定 的 . 在 文献 中 , 出 现 了 许多 这 类 的 结果 . 


10.1.3 Gauss-Seidel 迭代 的 实际 实现 


我 们 现在 集中 讨论 几 个 关于 Gauss-Seidel 迭代 的 实用 细节 , 为 了 使 算法 实现 起 
来 简便 , 把 Gauss-Seidel 迭代 改写 如 下 : 


fori=1:n 


i-1 n 
Ti = bi 一 J Qij Tj 一 ) QijTj Gii 
j=l 


j=i+l 


<1. 


end 
这 一 计算 需要 的 flop 数 大 约 是 4 中 非 零 元 个 数 的 两 倍 . 要 得 到 工作 量 的 更 精确 的 
结果 是 没有 意义 的 , 因为 算法 的 实际 运行 在 很 大 程度 上 取决 于 相应 问题 中 的 矩阵 结 
构 . 
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为 了 强调 这 一 点 , 我 们 把 (10.1.3) 应 用 到 NM x NM 的 块 三 对 角 系 统 : 


T -ln 0 gı A 
-In T ga fa 
' ={ : |， (10.1.6) 

: . . —Īyn : : 

0 ee -Iy T 9M fm 
4 -i 0 G(1,3) F(1,3) 

-1 4 ^n : G(2, å) FQ, j) 

HHT = re ;91 一 : ,fi = : 

: rs | : : 
0 -1 4 G(N, j) F(N,j) 


“4 Poisson 方程 在 一 长 方形 上 离散 化 以 后 产生 的 就 是 这 种 问题 . ATER A 
是 正定 的 . 
当 ie {O,N+1} E j € (0, M - 1) 时 约定 G(i,j) = 0, 可 以 把 Gauss-Seidel 3X 
代 写 成 如 下 形式 : 
for j=1:M 
fori=1:N 
G(ij) = (F(ij) - G6 —1,3) - G(é - 1,j) 
+G(i,j — 1) 4 G(i, j +1))/4 
end 
end 
注意 , 在 这 个 问题 中 , 对 矩阵 4 没有 存储 要 求 . 
10.1.4 ”逐次 超 松弛 迁 代 
Gauss-Seide 迭代 由 于 其 简单 而 引入 注目 . 不 幸 的 是 , 当 Ma No WEFR 
近 于 1 时 , 收敛 将 会 很 慢 , 因为 误差 e(*) 以 p(Ma No)" 的 速度 趋 近 于 零 . 为 了 改 
进 这 一 点 , 设 w € R, 把 Gauss-Seidel 迭代 作 如 下 修正 : 
for i=1:n 
at) =w (+ 一 Y agi? 一 Y: ) [ost (1— w) x (10.1.7) 
j=l jit. 
end 
这 就 是 逐次 超 松弛 (SOR) 方法 . 利用 (10.1.4) 中 的 记号 , 可 以 看 出 SOR AE 
述 方程 给 出 ; 
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Myatt) = Nux (9 + wb, (10.1.8) 
其 中 Ms =D+wlL,N, = (1—w)D — wU. 对 少数 几 个 有 结构 的 (但 很 重要 ) 问 
ji, 如 (10.1.6), 使 得 (M, Nu) 极 小 化 的 松弛 参数 w 的 值 是 已 知 的 , 此 外 , 可 产生 
p( Mj!N1) = (M3 No) 的 一 个 重要 约 化 . 但 是 , 在 更 复杂 的 问题 中 , 要 决定 一 个 
合适 的 w, 需要 进行 非常 复杂 的 特征 值 分 析 . 
10.1.5 Chebyshev 半 和 迭代 方法 


另 一 种 加 速 迁 代 收 和 敛 速度 的 方法 是 利用 Chebyshev( 切 比 雪夫 ) 多 项 式 . R 
设 r0,20,...,200 BRIER Malt) = Na +b 产生 , 我 们 希望 确定 系数 
v;(k),j =0:k, 使 得 


k 
y) = > vlk) (10.1.9) 
j=0 
HE 200 更 好 . 若 rO =... =a) = zw. 很 自然 要 求 y = m. 因此 要 求 
k 
v5) = 1. (10.1.10) 


j=0 
在 此 限制 下 , 我 们 考虑 如 何 选取 v (c) 使 得 yO 的 误差 极 小 化 . 
回忆 定理 10.1.1 的 证 明 , (9 — m = (M 1 N)*e(9, 其 中 e = zlo) — a, 可知 


k 


-T= Erue (k)(a — x) =). vi(k M NY e®. 


j-0 
两 边 取 范 数 | ll 得 
|y® — æ foll px(G) llall e® lia; (10.1.11) 
其 中 G-M'N, 
= Syt). 
;30 


由 条 件 (10.1.10) 知 pk(1) = 1. 
在 此 基础 上 假设 G 是 对 称 的 且 特 征 值 X; 满足 : 
-l<asA,<::: <A <8<i. 
从 而 有 


一 < 
| px (G) ll mex [pi (Az)| max, PQA). 


因此 , 为 了 使 得 ps(G) 的 范 数 很 小 , 我 们 需要 寻找 一 多 项 式 pk(z) 使 其 在 区 间 [os 8] 
上 尽 可 能 小 且 满足 pk(1) = 1. 

考虑 由 递 推 公式 cj(z) = 2zcj_1(2) 一 cj-_2(2), co(z) = 1, cl(z) =z 产生 的 Cheby- 
shev 多 项 式 cj(2). 它们 在 区 间 [—1, 1] EW |c;(z)| < 1, 但 在 区 间 [-1, 1] 之 外 , 上 
升 很 快 . 因此 , 多 项 式 pk(z) RA 
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pr(Z) = ck (- za) Ja 


其 中 心 - Z2 1425", EWE pl) = 1 HAE [os B] LAD. 从 px) 
”的 定义 及 等 式 (10.1.11) TAR 
(a) | £ — 2 | 
ly 2 las [en (4) | 


因此 , pi RAK, 收敛 的 加 速 也 越 快 . 

为 使 上 述 讨 论 成 为 一 个 实用 的 加 速算 法 , 需要 比 (10.1.9) 更 有 效 的 方法 来 计算 
y 扩 .我 们 已 假设 n 是 很 大 的 , 因此 , 对 很 大 的 e, cO, s,- 2 的 重复 利用 是 
不 方便 的 , 有 时 甚至 是 不 可 能 的 . 

幸运 的 是 , 利用 Chebyshev 多 项 式 中 的 三 项 递 推 公式 , 可 导出 VO 的 三 项 递 推 
计算 公式 . 特别 地 , 可 以 证 明 : Æ 


2—8—a 
acit S 
则 
yD = wii (y — 67D 4 y2) + y (7D, 
Mz? = b — Ay(9, (10.1.12) 
y= 2/(2 -a — B), 


其 中 yO = r yO = zw 中 . 我 们 称 这 一 技巧 为 相应 于 Myt = Ny® +b 的 
Chebyshev FERDE. 为 了 使 加 速 有 效 , 需要 好 的 下 界 a 与 上 界 6. 和 SOR 方法 
一 样 , 除了 少数 几 个 有 结构 的 问题 之 外 , 这 些 参数 很 难 确定 . 

Varga (1962, 第 5 章 ), Golub and Varga (1961) 深入 地 分 析 了 Chebyshev EYE 
代 方 法 . 
10.1.6 ”对 称 SOR 方法 


”在 导出 Chebyshev 加 速 技巧 时 , RARI TRAER G = MUN 对 称 . 因此 ， 
上 面 简单 的 分 析 不 能 应 用 于 非 对 称 SOR TAU Mj1Nw. 然而 , 可 以 将 SOR 方 
法 对 称 化 ， 使 之 可 利用 Chebyshev 加 速 技巧 . 其 思想 是 将 SOR 方法 与 向 后 SOR 方 
法 相 结合 : 

for i-n:—1:1 
ohh) =w t 一 S aus 一 > z J “raw (10.1.13) 
j=l j=i+1 
end 
在 (10.1.7) 中 , 把 未 知 数 的 顺序 颠倒 过 来 , 就 得 到 上 面 的 迭代 . 向 后 SOR 方法 可 用 
(10.1.4) 中 的 矩阵 记号 来 描述 . 特别 地 , 有 
Mert”) = Nux + wb, 
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其 中 _ E 
M,=D+wU, N,-(1—w)D —wL. (10.1.14) 
如 果 4 对称 (U = L7), N Mu = MI, Nu = NT HAMPER: 
Mz 01/2) = Na? + wb, 


(10.1.15) 
MT xt) = NTa4G-1/2) + wb, 


很 显然 , G = M, NEM No 是 这 一 方法 的 选 代 和 矩阵 . 从 Mo AN, 的 定义 可 
" G = MN z(M,D MI)" (NI DN»). (10.1.16) 
如 果 D 的 对 角 元 都 是 正 的 , HKKTANID N» ff Cholesky 48, UJ KT GK T 
= K'(M,D? MI)K. 因此 , G 与 一 对 称 和 矩阵 相似 , 特征 值 为 实 的 . 

PEAR (10.1.15) 称 为 对 称 超 松 弛 迁 代 (SSOR) 方法 . 它 常常 和 Chebyshev 2E38 
代 加 速 技巧 在 一 起 用 . 


习 题 

10.1.1 证明; Jacobi 迭代 可 写成 ze+D = mr 的 形式 , Kr] r9 = b Aa, 
重新 写 出 Gauss-Seidel 迭代 的 形式 ， 

10.1.2 WEH: HER A 严格 对 角 占 优 , 则 Gauss-Seidel 迭代 收敛 . 

10.1.3 WEW: 对 2x2 对 称 正定 矩阵 , Jacobi HARUM. 

10.1.4 ”证 明 : 若 4 = M —N 是 奇异 的 , 则 既 使 M 非 奇 异 , 也 不 可 能 有 p(CM-N)<1 
成 立 . 

10.1.5 ”证 明 (10.1.16). 

10.1.8 ”证 明定 理 10.1.1 AUR. 也 就 是 说 , FER Mat) = Nz +b 总 是 收敛 
AY, 则 o(M N) < 1. 

10.1.7 (H R. S. Varga 提供 ) 假设 


[a -12 f 1 -3/4 
“=| ds 1 | a= | s 1 | 


Ji 和 Ja 分 别 是 相应 的 Jacobi 迭代 矩阵 , 证 明 p(Ji) > p(J2), H#RBMTAR: 对 角 元 占 
优 程度 越 大 , Jacobi 迭代 收敛 的 速度 越 快 . 

10.1.8 Chebyshev 算法 由 下 面 参 数 确定 : 
Wk+1 = 2/0) ' 
peii (1p) 
这 里 c, (A) = cosh[k cosh 1 (4)], A> 1. 

(a) 证 明 : 只 要 0 cpi WI k> LA l<u <2. 

(b) 证 明 : Wk+1 < Uk. 

(c) 确定 极限 lim we. 


10.1.9 sasama- l 4 
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(a) 在 什么 情况 下 ，Gauss-Seidel 迭代 收敛 ? 
(b) 对 于 什么 取 什 范围 的 参数 w, SOR 方法 收敛 ? 这 一 参数 的 最 优选 取 是 何 值 ? 
(0) 对 给 阵 4=| m. | 重复 (a)(b) 的 问题 (提示 : 利用 S 的 奇异 信 分 解 ) 

10.1.10 ”我 们 要 求 方程 Au = f 的 解 , 其 中 A A AT, 一 个 典型 的 问题 是 考虑 下 列 方程 
的 有 限 差 分 逼近 

—u"+ou'=0, O0<2<1, 
| U(o —10, ug = 10e". 
得 到 的 差分 方程 如 下 : 
—ui_1 + 2u; — uipi + R(uiz1— w-1)-0, i=l:;n, 

XP R = ch/2,u0 = 10 B. us41 = 100”, HR MDF 1, BR Mu? = Nu + f RB 
WTR BEES >? 其 中 M = (A + AT)/2, N = (AT — A)/2. 

10.1.11 ”考虑 迭代 : y ^*? = w( By? + d 一 yD?) 十 yw 了 ,其 中 B 的 Schur 分 解 
X QT BQ = diag(A1, 32, ; An), A1 2 5 2 An, BUR m = Ba +d. 

(a) 导出 一 个 关于 e = y — x 的 方程 . 

(b) 假定 yO = By +d, 证 明 e® = p,(B)e, 其 中 当 为 偶数 时 , pi 为 一 偶 次 多 
Wk, k 为 奇数 为 , pk 为 一 奇 次 多 项 式 . 

(0) $ JO = QTe 由 ,导出 一 个 关于 FPG = 1:0) 的 差分 方程 , 试 确定 £D 和 f3 的 
准确 解 . 

(d) 说 明 如 何 选取 最 优 值 w. 
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有 关 Chebyshev 半 选 代 法 的 分 析 可 参见 : 

G. H. Golub and R. S. Varga(1961). “Chebychev Semi-Iterative Methods, Successive Over- 
Relaxation Iterative Methods, and Second-Order Richardson Iterative Methods, Parts I 
and II,” Numer. Math. 3, 147-156, 157-168. 
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这 一 工作 需要 一 前 提 , DCSE. 当 不 是 这 种 情况 时 , 讨论 可 见 : 


T. A. Manteuffel (1977). “The Tchebychev Iteration for Nonsymmetric Linear Systems,” 
Numer. Math. 28, 307-327. 


M.Eiermann and W. Niethammer(1983). "On the Construction of Semi-iterative Meth- 
ods,” SIAM J. Numer. Anal. 20, 1153-1160. 
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D. Calvetti, G. H. Golub, and L. Reichel(1994). “An Adaptive Chebyshev Iterative Method 
for Nonsymmetric Linear Systems Based on Modified Moments," Numer. 
Math. 67, 21—40. 


其 他 的 非 对 称 方法 包括 : 


M. Eiermann, W. Niethammer, and R. S. Varga(1992), " Acceleration of Relaxation Methods 
for Non-Hermitian Linear Systems," SIAM J. Matriz Anal. Appl. 13, 979-991. 


H. Elman and G. H. Golub(1990). “Iterative Methods for Cyclically Reduced Non-Self- 
Adjoint Linear Systems I,” Math. Comp. 54, 671-700. 


H. Elman and G. H. Golub(1990). “Iterative Methods for Cyclically Reduced Non-Self- 
Adjoint Linear Systems II," Math. Comp. 56, 215-242. 


R. Bramley and A. Sameh(1992). “Row projection Methods for Large Nonsymmetric linear 
Systems," SIAM J. Sci. Statist. Comput. 13, 168-193. 


既然 所 有 相关 的 特征 值 都 是 实 的 , 所 以 有 时 有 可 能 把 一 迭代 法 对 称 化 , 从 而 简化 加 速 过 程 . 
这 就 是 SSOR 方法 的 情形 , 讨论 见 : 
J. W. Sheldon(1955). “On the Numerical Solution of Elliptic Difference Equations,” Math. 
Tables Aids Comp. 9, 101-112. 
经 典 迭 代 法 的 并 行 实现 也 已 引起 人 们 注意 , 见 : 
D. J. Evans(1984). “Parallel SOR Iterative Methods,” Parallel Computing 1, 3-18. 


N. Patel and H. Jordan(1984). “A Parallelized Point Rowwise Successive Over-Relaxation 
Method on a Multiprocessor,” Parallel Computing 1, 207-222. 


R. J.Plemmons(1986).“A Parallel Block Iterative Scheme Applied to Computations in Struc- 
tural Analysis,” SLAM J. Alg. and Disc. Methods 7, 337-347. 


C. Kamath and A. Sameh(1989). “A Projection Method for Solving Nonsymmetric Linear 
Systems on Multiprocessors,” Parallel Computing 9, 291-312. 


我 们 知道 , 用 直接 法 解 Az = b 时 , 条 件数 CA) 是 一 个 重要 的 问题 . 然而 , 方程 的 条 件数 
对 和 迭代 法 也 有 影响 , 见 ， 
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M. Arioli and F. Romani(1985).“ Relations Between Condition Numbers and the Convergence 
of the Jacobi Method for Real positive Definite Matrices," Numer, Math. 46, 31-42. 


M. Arioli, I. S. Duff, and D. Ruiz(1992). "Stopping Criteria for Iterative Solvers," SIAM J. 
Matriz Anal. Appl. 13, 138-144. 


有 关 奇 异 方程 组 迭代 法 的 讨论 见 : 
A. Dax(1990).“ The Convergence of Linear Stationary Iterative Processes for Solving Singular 
Unstructured Systems of Linear Equations,” SLAN Review 32, 611—635. 
最 后 , 本 节 的 方法 之 截断 误差 影响 在 下 文中 讨论 . 


H. Wozniakowski(1978). “Roundoff-Error Analysis of Iterations for Large Linear Systems,” 
Numer. Math. 30, 301-314. 


P. A. Knight(1993).“Error Analysis of Stationary Iteration and Associated Problems,” Ph. 
D. thesis, Department of Mathematics, University of Manchester, England. 


10.2 +SEE 


SOR F, Chebyshev 半 和 迭代 法 以 及 相关 方法 的 一 个 困难 是 它们 依赖 于 参数 ， 
而 适当 地 选取 这 些 参数 有 时 是 很 难 的 . 例如 , 在 Chebyshev 加 速 技巧 中 要 估计 迭代 
矩阵 MIN 的 最 大 、 最 小 特征 值 . 除非 该 矩阵 有 充分 的 结构 , 否则 要 做 到 这 一 点 
是 从 解析 上 不 可 能 或 在 计算 上 太 昂贵 . 

在 本 节 , 对 于 对 称 正定 问题 Az = b, 我 们 给 出 避免 上 述 困难 的 一 个 方法 , 即 著 
名 的 Hestenes-Stiefel JESEBERETE. 在 9.3.1 节 中 , 我 们 已 从 Lanczos 算法 中 导出 过 
这 一 方法 . ME, 从 另 一 角度 来 导出 此 方法 , 此 推导 也 为 10.3 节 和 10.4 节 中 的 几 种 
重要 推广 作 准 备 . 


10.2.1 ”最速 下 降 法 
推导 的 出 发 点 是 考虑 如 何 极 小 化 下 列 函 数 : 
gm) = set An - zb, 


A" 


其 中 bc R", A c R™", 假设 ANHEE. ol) 的 极 小 值 是 , er = 


A-o 即 可 得 到 . 因此 , 当 A 对 称 正定 时 , 极 小 化 ge) 和 解 方程 Ax = ^ 是 等 价 的 . 
极 小 化 ofa) 的 最 简单 的 策略 之 一 是 最 志 下 降 法 . 对 当前 点 zc, 4(z) 在 负 梯 度 
方向 -Vó(z.) =b- Az, 上 下 降 最 快 , 我 们 称 ro =b- As, 为 re 的 残 量 . WRR 
量 非 零 , 则 存 一 正 数 o, 使 得 o(@. + are) < O(a). 在 最 速 下 降 法 (用 精确 线 搜索 ) 
m, 


a= rrer] Are, 
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则 函数 
o(@. + are) = lze) — ar; Prot ja 2rT Are, 


达到 极 小 . 我 们 给 出 如 下 算法 : 

zo = 初 值 

TQ = b — Aro 

k=0 

while r 40 
k=k+1 
Ok = TL aTk A [T] aA ATR-1 
Tk = Ek—1 + OKTk-1 (10.2.1) 
rk = b — Az, 

end 


可 以 证 明 


(Ces + zera o) < (: x zu] (olen 1) + state), (10.2.2) 


这 说 明 算法 是 全 局 收敛 的 . 不 幸 的 是 , 当 条 件数 ee(4) = Ar (A)/An(A) 很 大 时 , 收 
敛 的 速度 是 极 慢 的 . 在 几何 上 , 这 意味 着 %(z) 的 等 高 线 是 一 压 的 很 偏 的 超 椭 球 . 找 
最 小 点 , 也 就 是 找 一 个 两 边 陡峭 中 间 相 对 平坦 的 山谷 之 最 低 点 、 在 最 速 下 降 法 中 ， 
翻来覆去 地 穿越 山谷 , 而 不 是 顺 着 谷 而 下 RAW, 迭代 中 梯度 方向 的 变化 不 是 
足够 大 . 


10.2.2 “一般 的 搜索 方向 


为 了 避免 最 速 下 降 法 中 的 缺陷 , 我 们 考虑 沿 着 一 组 方向 {p1 ps,…} 逐步 极 小 
化 ó, 它们 不 必 是 残 量 方向 {ror} AE, 4 a = ox = pirk-1/PR Ap, Ff, 
(zr + op,) 达到 极 小 . 若 这 样 选取 a, 可 证 


pi Tk-1 
Q(zk—1 + oxpy) = lLk) — 5 ge . (10.2.3) 
为 了 保证 $(z) 的 值 能 减 小 , p, 与 ru 1: 不 能 正 交 . 这 就 导出 了 算法 的 框架 : 

zo = 初 值 
ro = b — Axo 
k=0 
while rz 4 0 

k=k+1 (10.2.4) 


选 一 方向 px, 使 得 pirk- F 0 
Ok = DE Tk-1/ PR Apk 
Tk = Xk—i-d- OkDk 
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Tk = b— ATk 
end 
注意 , pk € zo +span{p,,--- py) = {20 + P1 +- + yp. yi € R). 我 们 的 目标 
是 选择 一 列 既 保证 收敛 性 , 又 能 避免 最 速 下 降 法 缺点 的 搜索 方向 . 


10.2.3 A #4 RA [5] 


如 果 搜 索 方向 是 线性 无 关 的 , H zk 为 下 列 问题 的 解 
min oa) (10.2.5) 


c€co--span(p,,- 


k = 1,2,.…, 则 能 保证 最 多 n 步 就 收敛 到 真 解 "入 是 因为 zn 使 d(x) 在 R^ 上 极 
Ay, 从 而 Az, = = b. 
然而 , 为 了 使 这 成 为 一 种 可 行 的 途径 , 搜索 方向 必须 具备 这 样 的 性 质 : 能 够 很 
容易 从 zs_1 计算 出 oy. 让 我 们 考察 一 下 , 在 上 述 条 件 下 怎样 决定 pk. 若 
Tk = £o + Priy + Op, 
其 中 Pra = [pi,… Peal, y € Re 1,0 ER, 则 2 
(we) = $(@o + Pray) + oy" Ph_1Apk + > Pk Apy — opo. 


如 果 p, € span{Ap,,---,Ap,_1}+, WER ay™ PE Ap, AS, 且 寻找 极 小 化 
点 zk 化 为 两 个 独立 的 极 小 化 问题 : 一 个 是 寻找 y, 一 个 是 寻找 a, BI 


min plek) = min (zo + Pk-1y + oy) 
my €zo-Fspan(p; :Pk} 


= min a (yla + Pay) epi k Api — opi, Fro) 
= min lxo + Privy) + min (Set Ap, — opto) . 


注意 , E ya 是 第 一 个 极 小 化 问题 的 解 , 则 ee. = mo + Pp-1Yp-1 在 £o + span 
{p poy:… ;Pp-1} 上 极 小 化 o(a). 对 a 的 极 小 化 问题 之 解 是 ak = piro/pi 4Pk. 
由 4 RRE 
Dirk i—pL(b- Azki) 
= pi (b — A(zo-- Py, 1)) = PRTo. 
利用 这 些 结果 可 知 zk = Eri +onp,, 且 得 到 了 (10.2.4) 的 一 个 例子 : 
zo = 初 值 
k=0 
TQ — b— Azo 
while rg # 0 
k=k+1 
ik px € span{Api,-… , Apk—1}t, E piri #0 (10.2.6) 
an = PETk-1/Pk ADE 
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Tk = Tk-1 + OkDk 
Tk = b — Ax, 
end 
下 面 的 引 理 表明 找到 满足 以 上 性 质 的 搜索 方向 是 可 能 的 . 
引 理 10.2.1 Æ rr-1#0, MA p, Espan{Api,… , Ap, i1] Hepp re-1 40. 
证 明 o Gb k=1 tf, $ p= ro. %5 k>1 Hf, Hre- #0 7A 
A Ib ¢ zo - span(p,, py. i) 
=> b g Axo +span{ Ap,- , Ap, i) => ro ¢ span(Ap,, Ap, a). 
因此 存在 p € span{Ap,,--- Ap, 1). 使 得 pTro # 0. 但 2,1 € £o + span{p,, 
… ,pp_1}, 所 以 ria € ro + span{Ap,,---,Apg_.}. 从 而 可 得 p're- = pTro 7 
0. . 口 
(10.2.6) 中 的 搜索 方向 称 为 A KHR, 因为 对 所 有 的 i 6j, 有 pf Ap; = 0. 如 
果 Pk = [pi,… pi] 是 由 这 些 向 量 组 成 的 矩阵 , 则 
PL AP; = diag(pt Ap1,... ,Pi APs) 
非 奇异 , 这 是 因为 4 是 正定 的 且 搜 索 方向 非 零 . 由 此 可 见 ，Pk 列 满 秩 . 这 保证 了 
最 多 n 步 收 敛 到 真 解 , 因为 zw( 如 果 迭 代 到 这 一 步 的 话 ) 在 van(P,,) = R” 上 极 小 
化 (ax). 
10.2.4 选择 最 佳 搜索 方向 


一 种 结合 最 速 下 降 法 和 A 共 轿 搜索 方向 法 优点 的 方法 是 在 (10.2.5) 中 选取 离 
rp_1 最 近 且 与 p, ,ps_1 A FINE pk， 这 就 得 到 了 共 罗 梯 度 法 的 “版 本 
0”: 


£o = 初 值 
k=0 
ro = b — Axo 
while r #0 
k=k+1 
if k = (10.2.7) 
Pı =To 
else 
选取 pr, CEMA AÈ p 6 span{Ap,,--- Api) ER 
46 || p — rk-i | 
end 


Ore = pi rk-i/ Dg Apr 
Th = Lk-1 + OkDk 
Tk — 六 一 Azk 
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end 

x = Tk 
为 了 使 该 算法 成 为 稀疏 问题 Ac = b 的 有 效 解法 , 我 们 需要 计算 p, 的 有 效 方法 . 
为 了 得 到 最 终 的 迭代 公式 , 还 需 大 量 的 分 析 . 第 一 步 , 先 证 明 pj 为 某 个 特定 的 最 小 
二 乘 问题 的 极 小 残 量 . 

引 理 10.2.2 5 k 2 2 时 , 由 算法 (10.2.7) 产生 的 向 量 pi 满足 

Dy = Tk-1 — APk-12k-1, 

其 中 Pr- = [Pi P2 ,Pkp-_1]; Zk-1 为 

Bi, | r&1 — APx-aiz | 
的 解 . 

WEB] 设 zr 为 上 面 最 小 二 乘 问题 的 解 , p 为 相应 的 极 小 残 量 : p= rr -— 
4Pk_1zk_1. 由 此 可 得 pT4P 1 = 0. 此 外 , p = [E — (AP, i) ( AP i)*]rs-: 是 
Tii 到 ran(AP,_1)+ 上 的 正 交 投影 , 故 它 是 ran(4Pk 1)+ 中 离 rei 最 近 的 向 
E. 因此 p= pr. z 

利用 这 一 结果 , 我 们 可 以 得 到 残 量 ro BRA p 和 Krylov 子 空间 

K (ro, A, k) = span{ro, Aro, ,AF ing) 


之 间 的 重要 关系 . 
定理 10.2.3 ”在 算法 (10.2.7) 中 , Zit k PRAGA: 
Tk =Th-1 — Gk ADP, (10.2.8) 
Pir,-0 (10.2.9) 
span(p,,--- ,p,} —span(ro,:-: ,rk-1) = K(ro, A, k) (10.2.10) 


ARE T0,T1,°°*' ,Tk 互相 正 交 . 
证 明 在 zx = Ekitap, PUER A 并 利用 残 量 的 定义 可 得 方程 (10.2.8). 
为 证 明 (10.2.9), 回想 前 面 已 得 出 zk = zo 十 Preys, EP y, 是 
Pleo + Pry) = (a0) + 59" (PE APh) — v Px(b — Avo) 
的 极 小 点 . 这 意味 着 y, WREATH (PTAP,)y = PL(b — Azo) 的 解 , 因此 
0 = PI(b— Azo) — P? APxy, = PE (b — A(zo + Pxy,)) = Pi rp- 
为 证 明 (10.2.10), 注意 到 从 (10.2.8) 有 
(Api, Utt. , Apx_1} «€ span(ro, Ut ,Tk—1}, 
而 且 从 引 理 10.2.2 有 
Py = Tk — [Api Apyalzk € span{ro,--- ,Tk-1}. 
从 而 | 
(pi; tU , Pk] = [ro, ttt Trill, 
其 中 了 为 某 个 上 三 角形 矩阵 . 由 于 搜索 方向 是 独立 的 , MOT 非 奇异 . 这 说 明 
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| span{p,,--- Pk} = span(ro, s Tii 
利用 (10.2.8) 可 得 
Tk € span{Tk-1, Ap} C span{Tk_1, Áro,::- , Ark i1]. 

由 归纳 法 知 (10.2.10) 的 后 一 等 式 成 立 . 

最 后 , 证 明 这 些 残 量 是 相互 正 交 的 . 从 (10.2.9) 可 知 re 与 p, 的 象 空间 中 的 任 
HEER. 而 由 (10.2.10) 可 知 此 象 空间 包括 To, Tl, 一 1 口 

利用 这 些 事实 , 我 们 下 一 步 证 明 p, 是 前 一 个 搜索 方向 pri 与 当前 残 量 re- 
的 线性 组 合 . 

推论 10.2.4 (10.2.7) 中 的 残 量 和 搜索 方向 有 如 下 性 质 : 

Pk € span{p,_1,7k-1}, k22 

WER 244k =2 时 , 由 (10.2.10) 可 得 py € span(ro, ri). 但 Pi = ro, 所 以 po 
是 pi 与 ”1 的 线性 组 合 . 

“4k > 2 时, 把 引 理 10.2.2 中 的 向 量 zk-1 作 如 下 划分 : 


w 
Zk-1 = 
B ji 


运用 恒等式 Tk-1 = Tk-2 — Ok—1 AD. 1; 有 
Pk = Tk-1 — APR-12k-1 


= Tk- — APy_.w — pAp, 4 
= (1 + P ) Tk—1 + Sk-1, 
Qk—1 


其 中 


m 
Sk-1— Th-2 ~ AP;_2w 


k-1 
€ span(ri 5, APx_2w} 


C span(rx-2, Ap1,... , Api 3] 

C span(nri,::: ,T& 2]- 
因为 r 总 是 相互 正 交 的 , 故 sp_1 Are EX. 因此, 引 理 10.2.2 中 的 最 小 二 乘 
问题 等 价 于 选择 w 和 j, 使 得 ; 

Ipe B= (1 25) Em IB +l sea B 
达到 极 小 . 既然 T. 2 — 4P sz 的 2 范 数 当 z = ze- DEREN p_i, 所 以 
sp_1 是 py i 的 倍数 . 因此 p, € span{frk-1 pii) 口 
我 们 现在 导出 p, 的 一 个 简单 的 表达 式 . 不 失 一 般 性 , 根据 推论 10.2.4 可 设 
Dy = Tk-1 + PePK-1- 
由 Pi-14Pr =0, 可 得 
Br = —pii Ark—1/Pp-1APK-1 


ORAS HH JUBURRSBETEEN " BOR 1” : 
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zo = 初 值 
k=0 
ro = b — Axo 
while rj 40 
k=k+1 
ifk—1 
Pi = To 
else 
Bk = —pL iÁrk-i/PL jÀPk-1 
Dk = Tk~1 + ÜkDk-i (10.2.11) 
end 


Ok = PR Tk-1/ Pk ADk 
Zk = k-i + OkDk 


Th = b — Azk 


end 
T= Tk 
在 算法 的 运行 当中 , 每 步 需 要 三 次 不 同 的 矩阵 与 向 量 相 乘 . 然而 , 利用 rk = rz-1 一 
ox Ap, 递归 地 计算 残 量 以 及 将 
TIaTkeic —Ok- iTi, ÁÀP& 1， (10.2.12) 
TI QTk-2 = Ok-APE 14P 1 (10.2.13) 


代入 By, 的 表达 式 中 , 就 得 到 下 面 更 有 效 的 形式 . 

算法 10.2.1 (2580 86 OX) ”如果 A € 及 "xn 对 称 正定 , b eR”, zo € R^ AW 
始 近似 值 (Axo ~ b), 则 下 列 算法 可 计算 出 zE R^, 使 得 Az — b 

k=0 


ro = b — Axo 
while r Z 0 
k=k+1 
ifk=1 
Pi =To 
else 


Bk = Th_ye~1/T ho? k-2 
Dk = Tk-1 + BkPk-1i 
end 
Om = TE ATk-A/ PL ADE 
Lk = Tk—1 + QkPk 
Tk = Tk-1 — Ob ADE 
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end 

T= Lk 
这 个 算法 本 质 上 就 是 出 现在 Hestenes and Stiefel(1952) ASCP RATRE IG 
式 . 注意 , SHERRI VOEEE E; MB. 
10.2.5 5 Lanczos 方法 的 联系 


在 9.3.1 节 中 , 我 们 从 Lanczos 算法 中 导出 了 共 斩 梯 度 法 . 现在 , 我 们 通过 从 共 
SURG RETE “SH” Lanczos 方法 来 看 两 个 算法 之 间 的 联系 . 令 残 量 矩 阵 为 


Ry = [rori Tk i] € R?*5, 
By AAP ER SAEPE 
1 -b 0 -> 0 
0 1 -b : 
B,= nou sg | eR. 
: — Bk 
0 "nm 0 1 


从 方程 p; = Tia + Bip, d — 2: k p, — ro 可知 Ry = Pi. By. 既然 矩阵 Py = 
[p1,… ,ps] 的 列 是 A FHA, 我 们 可 以 看 出 Ri ARB; dieg(p1 Api, ^ ,Pk APx) 
By 为 三 对 角 和 矩阵 .从 (10.2.10) 可 知 , 如 果 
A = diag(po,--- ,pk-1), Pi =|| ri lla | 
则 RA 的 列 构成 子 空间 span(ro, Aro, -- A*-!ro}. 的 一 组 标准 正 交 基 . 因此 ， 
这 个 矩阵 的 列 本 质 上 是 算法 9.3.1 中 的 Lanczos 向 量 , BH 
q; = ŁTi—1/Pi-1, i=1:k. 

此 外 , 相应 于 这 些 Lanczos 向 量 的 三 对 角 和 矩阵 为 

T, = A^! Bi diag(p! Ap) Bx A |. (10.2.14) 
Xx AB PEDI 3E A8 70 RI DOSE fü Jo EE HEX rp Re RT AEN. 因此, 在 算法 
10.2.1 中 , 产生 a, 的 同时 , 也 得 到 了 A 的 两 端的 特征 值 (条 件数 ) 很 好 的 估计 . 


10.2.6 ”一 些 实用 的 细节 


算法 10.2.1 的 终止 准则 是 不 现实 的 . 由 于 含 入 误差 的 影响 , 残 量 间 的 正 交 性 有 
所 损失 , 从 而 在 数学 上 不 能 保证 有 有 限 步 终止 . 此 外 , 当 应 用 共 斩 梯 度 法 时 , n 通常 
非常 大 , 使 得 O(n) 步 欠 代 的 工作 量 也 是 不 可 接受 的 . 因此 , BRERA KK 
kna 以 及 残 量 的 范 数 来 给 出 终止 准则 . 这 就 是 导出 算法 10.2.1 的 实用 形式 : 

X= 初 值 

k=0 

r=b— Axo 
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po =|| 7 |2 
while (\/px > € || b ||2) ^ (k < kmax)’ 
k=k+1 
ifk=1 
` pSr (10.2.15) 
else 
Bk = Pr—1/Pk—2 


p =T + Pep 
end 


w= Ap 
OX = pk-1/p Iw 
£ = T + Ap 
T =fr — akw 
px 一 | r I 
end 
在 每 步 迭 代 中 , 这 一 算法 需要 一 次 矩阵 与 向 量 相 乘 和 10n 次 浮 点 运算 . 注意 , 实际 
上 只 要 存储 四 个 向 量 : z,r,p 和 w. 标量 的 下 标 是 不 必要 的 , 这 里 不 过 是 用 来 与 算 
法 10.2.1 比较 而 已 . 
用 (10.2.14) 给 出 的 三 对 角 和 矩阵 T. 的 最 小 特征 值 的 倒数 来 近似 [| AT? |lo, 可 
得 到 误差 Ar, 的 启发 式 估 计 , 可 基于 此 给 出 终止 准则 , 
Jut ES HET FX AERAR UAR E Reid(1971) 最 先 提出 的 . 迭代 的 观点 
是 很 有 意义 的 , 但 是 收敛 的 速度 则 是 此 方法 成 功 的 关键 . 


10.2.7 ”收敛 的 性 质 


作为 本 节 的 结尾 , 我 们 考察 一 下 共 思 梯 度 法 产生 的 迭代 序列 (m). 的 收敛 性 , 
我 们 给 出 两 个 结果 , 它们 都 说 明了 不 管 是 在 低 秩 扰动 的 意义 下 还 是 在 范 数 的 意义 
下 , 当 A 接近 于 单位 和 矩阵 时 , SORES A. 

定理 10.2.5 wRA=14+BAnxn 对 称 正定 矩阵 , E rank(B) = 二 7, 则 算 
法 10.2.1 至 多 7 十 1 FRE. 

证 明 PÆN] span{ro, Aro,- ,A* ro} = span{ro, Bro, ,Br-!ro} HE 
数 不 超过 > 十 1. 既然 p1,… px 可 生成 这 一 子 空间 , 且 线 性 独立 , 则 迁 代 次 数 不 能 
大 于 7 十 1. 


从 这 一 结果 可 得 如 下 重要 的 结论 : 口 
e de X ARUP REEMA r 校正 ， 则 算法 10.2.1 经 过 上 十 1 步 后 差不多 
wT NCA. 


在 下 一 节 中 , 我 们 将 说 明 如 何 利用 此 直观 结果 . 
另 一 种 形式 的 误差 界 可 用 4 范 数 来 得 到 , 定义 4 范 数 : 
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| w |a= V wT Aw. 

定理 10.2.6 ”假设 ACR" 对 称 正定 , DER". 车 (mu) 为 算法 10.21 产生 

HERA, K= kA, W " 
æ- lae 212m la (Yo) - 

证 明 W. Luenberger(1973, 187 页 ). 口 

{zk} 的 精度 经 常 比 定理 估计 的 要 好 得 多 . 然而 , 定理 10.2.6 的 一 个 探 试 形式 
倒 很 有 用 : 

e ŽA) 1, 则 在 4 范 数 意义 下 , 共 轩 梯度 法 收 合 很 快 . 
在 下 一 节 中 , 我 们 论述 如 何 把 一 个 给 定 的 问题 Az = b 转换 成 一 相关 的 问题 A 名 = 
6 ,其 中 4 接近 于 单位 矩阵 . 

习 题 

10.2.1 WEB] (10.2.1) 中 的 残 量 满足 : 4 j =i +1 BY rir; — 0. 

10.2.2 ”证 明 (10.2.2). 

10.2.3 ”证 明 (10.2.3). 

10.2.4 HERA (10.2.12) 和 (10.2.13). 

10.2.5 ”给 出 (10.2.14) 中 三 对 角 矩 阵 Tx 的 元 素 的 计算 公式 . 

10.2.6 ”在 算法 9.3.1 和 算法 10.2.1 的 实际 实现 中 , 比较 它们 的 计算 量 和 存储 量 . 

10.2.7 ”证 明 : # A c R^*"^ 是 对 称 正定 的 , BA kA AORTA, MUSH 
多 运行 十 1 步 就 结束 . 

10.2.8 ”利用 定理 10.2.6 证 明 : 


lax — AY» Jac ove (Y) || zo — AB Jl. 
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我 们 在 上 一 节 的 结尾 提 到 , 当 矩 阵 为 良 态 或 有 少数 几 个 不 同 的 特征 值 时 , UE 
梯度 法 用 起 来 很 有 效 . (后 一 种 情况 即 A 是 单位 矩阵 的 低 秩 扰动 .) 本 节 中 , 我 们 将 
介绍 如 何 预 处 理 线性 方程 组 , 使 其 系数 矩阵 为 上 述 的 两 种 情况 之 一 . 我 们 的 论述 是 
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简洁 、 非 正式 的 . Golub and Meurant (1983) 和 Axelsson (1985) 有 更 全 面 的 曾 述 . 
10.3.1 ”推导 


考虑 到 n x n 对 称 正 定 线性 方程 组 Am = b. WAH EH ee 
“常规 的 ” 共 本 梯 度 法 运用 到 变换 之 后 的 方程 组 : 
Ad =b, (10.3.1) 
其 中 A = CAC, &=Ca,b=C 1d, C AMMIETHE. 依照 10.2.8 节 的 结 
论 , 我 们 试图 选择 矩阵 C, 使 得 4 是 良 态 的 或 具有 多 重 特征 值 . 不 久 将 会 看 出 , 4E 
EE C? 也 必须 简单 一 些 . 
如 果 把 算法 10.2.1 用 到 (10.3.1), 则 得 到 : 


k=0 
Žo 一 初 值 (450 = b) 
Fo = b — Azo 
while #, 40 
k=k+1 
ifk=1 
pio 
else (10.3.2) 
Bx = PE aPk-i/ PR ofk-2 
Dk = Fk—1 + BkPk-i 
end 
Ok = PL fk-1/PF CAC De 
Ek = Ékoic OkDk 
fy = Fe-1 — OCT 1 ACC |y 
end 


k 
这 里 , x 为 名 BU, T. 是 在 变换 户 的 坐标 和 中 的 有 于， Hr, = b- Â % 
5, 一 旦 得 到 多 的 值 ， Aa r= Ci 可 得 到 z 的 值 . 然而 利用 定义 S = 
Cox, &y = Ca, A fy = Cry, 就 可 避免 直接 利用 和 矩阵 C71. 实际 上 , 如 果 我 们 把 
上 述 定义 用 到 算法 (10.3.2) F, 并 注意 到 关系 式 5 = Cob Al & = Co, 则 得 到 下 面 
的 算法 : 
k=0 
zo 一 初 值 (4zo = b) 
TQ = b — Azo 
while C ^r, #0 
k=k+1 
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ifk=1 
Cp = Ctro 


(10.3.3) 
else 


Bk = (Co rp_1)7 (C7 re_1)/ (Co irp 2) (C^ 1r 2) 
Cpr = C^ Ira + BkCpka 
end 
a = (Co re—1)" (C71 1)/(09)! (C 1 AC *) (Cp) 
Cap = CTk-1 + okCpk 
Cr, = Co rp_1 — oy(C 1 AC!) Cp, 
end 
Cz = CTk 
RRA iM M = C2( 也 是 正定 的 ), HA zk 为 方程 组 Mz, ri 的 
f£, 则 算法 (10.3.3) 可 简写 如 下 . 
算法 10.3.1 ES) ”给 定 对 称 正定 矩阵 ACRI", bCR?, 对 称 
iE 8 MABE M 和 初 值 co(Azo 守 b), 则 本 算法 可 求 出 方程 组 Ar=b HM. 
k=0 
ro = b — Axo 
while (rg # 0) 
解 方程 Mz, = Tk 


k=k+4+1 
ifk =1 

Pi = 20 
else 


Bk = Thy Ze-1/Th_22h—2 
Dk = Zk-1 + Ükpk-i 
end 
Ok = Tg AZk-1/ Pk ADR 
Lk = Xk—1i-T GkDk 
Tk = Tk—1 — Gk ADE 
end 
T = Tk 
关于 这 一 算法 , 应 注意 到 以 下 重要 的 几 点 . 
e TRER, 残 量 和 搜索 方向 满足 ; 


rjM r=0, iF), (10.3.4) 
pj(C AC )p;-0, iz#), (10.3.5) 
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e 2-8 T] ozo = zl Mz: 不 可 能 为 零 , BAM 是 正定 的 . 
e 虽然 变 挨 矩阵 C 在 算法 的 导出 中 起 了 很 重要 的 作用 , 但 它 只 有 通过 预 处 理 
Æt M = C? 起 作用 . 
e 为 了 使 算法 10.3.1 JE AE SE AE SILAE EE IU AC, 线性 方程 组 Mz — n 必须 容易 
求解 , AMR CR. 
一 个 好 的 预 处 理 矩 阵 对 算法 的 收敛 速度 产生 很 大 的 影响 . 现 讨论 几 种 可 能 的 预 处 理 
AERE. 


10.3.2 ”不 完全 Cholesky 预 处 理 和 矩阵 


最 重要 的 预 处 理 方式 之 一 涉及 计算 4 的 不 完全 Cholesky 分 解 . 其 思想 是 计算 
一 下 三 角形 矩阵 H, 它 具 有 可 利用 的 稀 玻 结构 , 且 “ 接 近 于 ”4 的 完全 Cholesky Al 
f G. 预 处 理 矩 阵 则 变 为 M = H HT. 为 说 明 这 一 选择 的 作用 , 先 注意 下 列 事实 . 
。 存 在 唯一 的 对 称 正定 矩阵 C, AM = C? 
e 存在 正定 矩阵 Q, 使 得 C =QH", 9 HT AC 的 QR 分 解 的 上 三 角形 因 
子 . 
由 此 可 知 : 
A=C0-140 = C7TAC™ = (HQT) A(QHT) 
= Q(H-'GGTH-*)Q™ x1. 
因此 , HE G 越 好 , A 的 条 件数 越 小 , 算法 10.3.1 运行 效果 就 越 好 . 
如 何 找到 这 样 的 Hr, 一 种 简单 而 又 有 效 的 方法 是 在 Cholesky 分 解 中 , Æ aij = 
0, Wi hij = 0. # Cholesky 分 解 采 用 外 积 形式 , 上 述 方法 可 如 下 实现 : 
fork=1:n 
A(k, k) = Alk, k) 
fori=k+1:n 
if A(i,k) #0 
A(i, k) = Ali, k)/A(k, k) (10.3.7) 
end l 


(10.3.6) 


end 
forj=k+1:n 
fori=jin 
if A(i, j) #0 
Ali, j) = A3) — AG, E) AG, k) 
end 
end 
end 


end 


478 第 10 章 AMA EA 


在 实际 计算 中 , 矩阵 A 和 它 的 不 完全 Cholesky AF H 可 以 存储 在 一 个 合适 的 数 
据 结构 中 , 上 述 算 法 中 的 循环 将 呈现 特殊 的 形式 . | 

不 幸 的 是 , (10.3.7) 并 不 总 是 稳定 的 . Manteuffel (1979) 指出 了 不 完全 Cholesky 
分 解 稳 定 的 正定 矩阵 类 . 也 可 参见 Elman(1986). 


10.3.3 ”不 完全 分 块 预 处 理 矩 阵 


和 本 书 中 所 有 其 他 方法 一 样 , 上 一 小 节 中 不 完全 分 解 的 思想 也 有 块 的 类 似 形 
TR. 我 们 以 对 称 正定 的 分 块 三 对 角 和 矩阵 
A, ET 0 
E, A, El 
0 E: A; 


为 例 来 说 明 不 完全 分 块 Cholesky 分 解 . 为 了 说 明 问题 , 我 们 假设 4; 是 三 对 角 的 ， 
E, 为 对 角 的 . 二 维 区 域 上 的 自 伴 椭圆 型 偏 微分 方程 用 标准 的 五 点 格式 离散 化 以 后 
得 到 的 就 是 这 种 结构 的 算 阵 . 

3 x 3 的 块 是 很 普遍 的 . 我 们 的 讨论 基于 Concus , Golub, and Meurant(1985). 


A= 


& 
G 0 0 
Fi G4 0 
0 F2 Gs 
为 A 的 完全 Cholesky 因子 的 分 块 形式 . BUR G 作为 分 块 逢 阵 在 整体 上 是 稀疏 的 ， 
但 除 G 外 的 每 块 都 是 稠密 的 . 这 可 以 从 相应 的 计算 中 看 出 : 
G1GT= Bi = Ai, 
F,= EiGj|, 
GGI = By = Ag; - FAFT = Ag - E,Bi Ej, 
F= E3G;|, 
G5GT = Bs = As — FaF} = As — E3B; E35. 
因此 , 我 们 要 寻找 近似 的 分 块 Cholesky 因子 , 其 形式 为 
G 0 0 
F, G. 0 
0 FG 


G= 


G= 


T 


从 而 , 我 们 能 够 容易 地 求解 预 处 理 矩 阵 为 M —GG ”的 方程 组 . 这 用 到 了 G 中 块 
的 稀疏 性 . 当 A, 是 三 对 角 和 矩阵 , Ei 为 对 角 和 矩阵 时 , 有 下 面 一 条 合理 的 途径 ， 
GG, = B, = Aj, 
ři = EĞ", 
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GG; = By= A» — E A ET, 41( 三 对 角 ) RI B 
F, = EQG,. 
GG, = Bs 三 As — E2A2E}, A2( 三 对 角 ) a B,. 
注意 , 所 有 的 BB 都 是 三 对 角 的 . 显然 , 必须 小 心地 选择 4, 使 得 B, 也 是 对 称 正 
定 的 . 由 此 可 得 G: 为 下 双 对 角 和 矩阵 . P; 是 满 的 , 但 不 需要 显 式 地 计算 出 它 的 元 素 . 
比如 , 在 解 方程 组 Mz = r 的 过 程 中 , 我 们 必须 解 如 下 方程 : 


G1 0 0 wi Ti 
F, Go 0 0» = T2 
0 F, Gs ua T3 
在 计算 涉及 关于 F, = ESQ :的 矩阵 与 向 量 相 乘 时 , 可 用 向 前 消去 法 : 
Giu =f], 


Gow = ra — Fiw = 75 — EĞ, w, 
G3w3 = T3 一 Faw = f3 一 EĞ, wn. 
为 了 保证 B, 的 正定 性 ，4; 的 选取 是 比较 精细 的 ， 和 我 们 所 组 织 的 计算 一 样 ， 核 
心 问题 是 如 何 用 一 个 对 称 的 三 对 角 和 矩阵 4 来 近似 m x m 对 称 正定 的 三 对 角 和 矩阵 
T = (ti) B. 这 里 有 几 条 合理 的 途径 : 
e & A = diag(1/t11, 1/t22, * ,1/tnn). 
e 4- A Jj T KETARA. 这 可 以 很 有 效 地 计算 出 来 , 因为 存在 u,v € RP 
使 得 了 -1 的 下 三 角 部 分 正好 是 uv] 的 下 三 角 部 分 . JL Asplund(1959). 
e4-A-U'U,UAXS G 的 下 双 对 角 部 分 , 其 中 G 为 工 的 Cholesky 分 解 
因子 , T—GGT. 这 可 用 O(m) 个 flop 来 完成 . 
要 讨论 这 些 近 似 和 矩阵 及 相应 的 预 处 理 和 矩阵 之 性 质 , 可 参见 Concus, Golub, and 
Meurant(1985). 


10.3.4 ”区 域 分 解 思想 
椭圆 型 偏 微 分 方程 的 数值 求解 在 未 知 数 适 当 排 序 时 往往 导致 如 下 方程 组 ，. 


Av ct e By zi di 
: Ag Bo X2 dy 
: : =]: |. (10.3.8) 
: A, Bp Tp d 
B? Bi. B, Q 2 


见 Meurant (1984). 这 里 A; 是 对 称 正定 的 , B; 是 稀疏 的 , 最 后 一 块 列 的 列 数 比 其 
他 的 要 少 得 多 ， 
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2p=2 的 例子 可 说 明 (10.3.8) 及 其 分 块 结构 与 原 问题 几何 区 域 及 其 分 解 之 间 的 
联系 . 假设 在 下 面 的 区 域 上 解 Poisson 方程 


二 十 十 十 十 十 十 十 
MON OM OX X 9o ob b d B B À 
MOX X4 X X hE E 


x RH RR 
x «MRK RK * 


+ 
+ 
+ 
+ 
+ 
+ 
+ 
* 
x 
x 


X OX X 4 OX & b GÀ d B B A 
KRM MEP B B B GÀ B GF S 
X OX 4X 3X b o b b b 
XX 十 十 十 十 十 十 十 
x X € X ox b B B B x R GR 


*X x KR xx 
eM HK xXx 
“XR Xx 


用 通常 的 方法 离散 , 一 个 网 格 点 上 的 未 知 量 只 与 “东南 西北 ”四 点 相关 . 这 里 
有 三 种 类 型 的 变量 : 一 类 是 内 部 在 上 面 的 子 区 域 (聚集 了 子 向 量 r, 相应 的 网 格 点 
为 “+”), 另 一 类 是 内 部 在 下 面 的 子 区 域 (聚集 了 子 向 量 x2, 相应 的 网 格 点 为 “x”)， 
还 有 一 类 是 在 这 两 类 子 区 域 的 交界 处 RRS FAR z, 相应 的 网 格 点 为 “*”). 注 
意 , 一 个 子 区 域 的 内 部 未 知 量 与 另 一 子 区 域 的 内 部 未 知 量 无 关 , 这 说 明了 (10.3.8) 
中 为 什么 会 出 现 零 块 . 同样 可 以 观察 到 , 交界 处 的 未 知 量 的 个 数 比 整个 未 知 量 的 个 
数 要 少 得 多 . 

现在 , 我 们 来 探索 一 下 (10.3.8) 的 预 处 理 情况 . 为 简单 起 见 , 就 p = 2 的 情形 讨 


M;' 0 0 Mı 0 0 
M-L| 0 Mi o |Z, 其 中 L=| 0 M: 0|, 
0 0 s! BT Bl S 


; (10.3.9) 
BT BT S, 
这 里 S, = S + BTMTIB1 + BIM; Bs. 现 考 虑 如 何 选择 块 参数 M1, Ma 和 S, 
使 得 产生 一 个 有 效 的 预 处 理 矩 阵 . 
如 果 把 (10.3.9) 和 (10.3.8) Æ p = 2 时 的 情形 相 比 , 可 以 看 出 , 应 该 用 M, E 
Xi A;, 用 S, 逼近 Q. HS S =Q- BEIM; Bi - BT Mj Bo, 则 后 者 可 以 办 到 . 
选取 s 有 好 几 种 途径 , 但 都 要 注意 这 样 一 个 事实 : 不 能 有 稠密 的 矩阵 BIMBI 
产生 . 例如 , 在 上 一 节 讨 论 过 , 可 用 M; 的 三 对 角 近 似 , 见 Meurant(1989). 
如 果子 区 域 足够 规则 且 解 只 与 A, 有 关 的 方程 是 可 行 的 话 (如 用 快速 Poisson 
解法 ), 则 可 令 M: = A. 从 而 M = A- E, 其 中 rank(E) = m, mm 为 交界 处 未 知 
量 的 个 数 . 因此 从 理论 上 讲 , 经 过 m +1 步 以 后 , 预 处 理 共 轿 梯度 法 将 收敛 . 


p 0 Bi 
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不 考虑 算法 过 程 中 必须 进行 的 晕 近 , 我 们 有 很 多 并 行 计 算 的 重大 机 遇 , 因为 子 
区 域 的 问题 是 可 分 离 的 . 实际 上 , 子 区 域 的 个 数 p 通常 与 问题 的 几何 特性 以 及 可 用 
来 计算 的 处 理 器 个 数 有 关 . 
10.3.5 “多项式 预 处 理 和 矩阵 


FHF M 组 成 的 方程 组 Mz = r 的 解 所 定义 的 向 量 x 应 当 看 作 是 
Az = r 的 一 个 近似 解 , 因为 M 是 4 的 一 个 近似 . 获得 这 个 近似 解 的 一 种 方法 是 
用 平稳 方法 Miz") = Niz +r Al 2© =0 的 p 步 . 

M G = MI'N 可 知 

z=2z®) =(14+G+---+G?"")Mj'r. 

于 是 , 如 果 M! =(14+G+---+G Mz), W Mz = r, 我 们 可 认为 M 是 一 个 
预 处 理 矩 阵 ， 当 然 , 重要 的 是 M 应当 是 对 称 正 定 的 , 这 限制 了 Mi, Ni 和 p 的 选 
取 . 因为 M 是 G 的 多 项 式 , 故 称 它 为 多 项 式 预 处 理 和 矩阵 . 这 类 预 处 理 天 阵 从 向 量 
或 并 行 的 观点 看 很 有 吸引 力 , 因而 引起 了 广泛 的 重视 . 


10.3.6 “ 另 一 个 观点 


多 项 式 预 处 理 短 阵 的 讨论 指出 了 经 典 选 代 法 与 预 处 理 共 斩 梯 度 法 之 间 的 一 个 
重要 关系 . 很 多 迭代 法 具有 形式 ; 


Ek = X&-2-- Wk(YkZk-i-cF Le—-1 — $z-2) (10.3.10) 


其 中 Mazk il =rp-1 =b- 4z 1 例如 , HS wy =1 Ay, — 1, W 
te = MT! (b — Axy a) + 2k-1, 
BY Mz, = Ner +b, 其 中 4= M - N. 于 是 , Jacobi, Gauss-Seidel, SOR, SSOR, 
等 方法 都 具有 形式 (10.3.10). Chebyshev 半 和 迭代 方法 (10.1.12) 也 是 如 此 . 
根据 Concus, Golub, and O’Leary(1976), 可 以 利用 形 如 (10.3.10) 的 主要 步 来 
组 织 算法 10.3.1: 
ZX_1 二 0; zo 二 48; k=0; ro =b- Azo. 
while r 40 
k=k-+1 
解 Mzy a — Tk 得 zk-1. 
Ye-1 = p AM 2-1 / Zh 1AZk1 
if k=1 
w,=1 
else B B 
Wk = ( — deci Fa en 1 ) 
Yk—2 Zk—3 M Zk-2 Wk—1 


(10.3.11) 


end 
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Lk = Lea + WkYk-iZk-i-d- Xk-1 — Xk-2) 
Tk — 已 一 Ak 
end 
T = Tn 
因此 , 可 以 把 (10.3.11) 中 的 数 we 和 ys 看 成 是 加 速 迭代 Mzk = Nær- +b WR 
的 加 速 参数 . 所 以 , 任何 基于 分 裂 4 = M -N 的 迭代 法 都 可 用 共 思 梯度 法 来 加 速 ， 
只 要 MBL) 是 对 称 正 定 的 . 


习 题 
10.3.1 “详细 讨论 基于 gaxpy 的 Cholesky( 即 算法 4.2.1) 的 不 完全 分 解 算法 . 


10.3.2 ”在 算法 10.3.1 的 实际 实现 中 , 需要 多 少 个 ” 维 向 量 的 存储 量 ? 可 和 忽略 解 方程 
Mz=r 所 需 的 工作 空间 . 
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10.4 Ht Krylov 子 空间 方法 


前 两 节 介绍 的 共 轿 梯度 法 适用 于 对 称 正定 方 程 组 . 9.3.2 节 中 介绍 的 对 称 Lanc- 
zos 方法 的 变化 形式 MINRES 和 SYMMLQ 方法 能 处 理 对 称 非 正 定 问 题 . 为 了 得 到 
可 适用 于 非 对 称 问 题 的 迭代 法 , 我 们 还 要 作 进 一 步 的 推广 . 

这 里 我 们 仿效 Freund, Golub, and Nachtigal(1992) 的 综述 文章 及 Golub and 
Ortega (1993) 的 第 9 章 来 进行 论述 . 重点 是 涉及 Krylov 空间 上 优化 的 共 斩 梯 度 型 

应 该 记 住 , 我 们 的 算法 描述 和 软件 产品 之 间 有 很 大 差距 .关于 这 一 点 ,Barrett 
et al (1993) 的 “样板 ” 书 作 了 很 好 的 描述 . Saad(1996) 的 著作 也 是 很 值得 推荐 的 . 
10.4.1 ”法 方程 方法 

解 最 小 二 乘 问题 的 法 方程 方法 是 很 吸引 人 的 , 因为 它 可 以 利用 简单 的 Cholesky 
分 解 技 巧 而 不 需要 复杂 的 正 交 化 方法 . 同样 , 对 非 对 称 问题 Am = b, HOA 
梯度 法 解 等 价 的 对 称 正定 方程 组 

AT Az = ATb 

也 是 有 诱惑 力 的 . 实际 上 , 如 果 在 算法 10.2.1 中 用 AT A RE A, 并 注意 到 法 方程 
中 的 残 量 ATb — AT Aa, EAX” RE b- Ax, 的 AT 倍 , 我 们 就 可 以 得 到 下 面 
RAE EB ETE] FRE EET (CGNR). 

算法 10.41(CGNR) #324 A cR” 444, b eR, wo € R" 为 初 值 ， 
则 本 算法 可 计算 出 方程 组 Am — b 89 mc: 


k=0 
ro = b — Axo 
while rj #0 
k=k+1 
ifk=1 
Pı = ATro 
else 
Br = (AT re—1)  (ATryi)/(ATr 2)? (AT r&-2) 
pk = ATry a + Bkpk-a 
end 
ap = (ATry 1) T (ATrg1)/ (Apx)* (Apr) 
Tk = Th-1 + AkPk 
Tk = Tk-1 — Ok pk 
end 


T = Tk 
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另 一 种 使 非 对 称 问 题 Ar = 58“ 共 筑 梯度 友好 ”的 方式 是 解 如 下 方程 组 : 
AATy-b, z= ATy. 
fr "y 空间 ” rp, KARRAR UFER: 


k —0 
Yo —MR(AAT yo = b) 
ro = b — AAT yp 
while rą 40 
k=k+1 
if k = 
Pı = To 
else 
fk = TRITk_1/TH orhk_2 
Pk = Tk-i + ÊkPk-1 
end 


ak = rf aTk-i/ PL AAT px 
Uk = Yk—-1 + OkDk 
Tk =Th-1 — Qk AAT pk 
end 
Y = Vk 
KEREY ATy, — r, ATp, > ps, BERMUDA ETICA ER EI, 简 
称 CGNE. 
算法 10.4.2(CGNE) #2 A cR” 44H, b c R",zo € R^ 为 初 什 
(Azo = b), 则 本 算法 计算 出 Ac =b HB s cR: 


k=0 
ro = b — Axo | 
while rg 40 
k=k+1 
ifk=1 
Pı = ATro 
else 
Br = TÉ TR [TE ark-2 
pk = ATrk—1 Dkpk-a 
end 


T T 
Ok = rj. ATk—1/ Pi Dk 
Tk = Tk—1 + bP 
Tk = Tk-1 — QkÁDK 
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end 
T = Tk 
一 般 来 讲 , 这 两 种 法 方程 方法 的 困难 在 于 和 矩阵 的 条 件数 变 成 了 原来 的 平方 , (回忆 一 
下 定理 10.2.6). 然而 , 在 有 些 情况 下 他 们 是 很 有 效 的 , 这 方面 的 论述 可 见 Freund, 
Golub and Nachtigal (1991). 
10.4.2 ”目标 函数 的 注 记 
基于 我 们 关于 共 轿 梯度 法 的 知识 , CGNR 迭代 所 产生 的 zk 使 得 函数 
fala) = 5" (AT A)a aT AT 
在 集合 
S(CGNE) — qo + K(AT A, ro, k) 
上 达到 极 小 . 容易 证 明 
1 |b- Az |3= di (2) + 50%, 


所 以 zk 使 得 残 量 在 SOOS 上 达到 极 小 “CGNR2 中 的 R 表示 对 残 量 (residual) 
是 最 优 的 . 
另 一 方面 CGNE( 隐 含 ) 迭代 产生 的 y, 使 函数 
daly) = 39  (AAT)y —y'b 
在 集合 yo = K(AAT,b — AAT y, k) 上 达到 极 小 , 作 变 量 蔡 换 = = ATy, 可 证 明 
zk 使 得 
Lota- aT Ah = 5 |æ- Ab |B +5 | AB B 

在 集合 

SOON = wo + K(A™A, AT ro, k) (10.4.1) 
上 达到 最 小 . 因此 在 CGNE 方法 中 , 第 一 步 都 使 误差 达到 极 小 , 这 就 是 “CGNE” 中 
"E" REX. 
10.4.8 dtp X EO 


我 们 记得 , 4A RNRESHEN, 它 有 一 对 称 正定 的 平方 根 ATP UR, 4.2.10 
$). 在 这 种 情况 下 , 方程 组 Az = b 和 AV? = A-!1/2b 相互 等 价 . 前 者 是 后 者 的 
法 方程 形式 . 如 果 我 们 对 这 个 平方 根 方程 用 CGNR 方法 , 并 对 结果 作 一 下 简化 , 则 
得 如 下 算法 . 

算法 10.4.3( 3548 RE BOE) to RAM A cR” 对 称 正定 , be RR", zo cR" 
为 初 值 (Aa? = b), 则 本 算法 可 计算 Am = b 的 解 . 

k=0 

ro = b — AZo 
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while r 40 
k=k+1 


By = rp Ark [TE 2Ark_2 
Apk = Ary—1 + BkÁpk-ai 
end 
ay, = rg i Ark-i/ (Apr) (Apr) 
Zk = Zk-ict OkDk 
Tk = Tk-1 — Ok ÁDk 
end 
T = Tk 
从 对 CGNR 方法 的 评价 中 可 得 , 在 第 PRR, || A77 (b — As) ||; 在 集合 zo + 
K(A, ro, k) 上 达到 极 小 . 
10.4.4 GMRES 方法 


在 9.3.2 节 中 , 针对 对 称 非 正定 问题 Aw = b, 我 们 简要 讨论 了 基于 Lanczos 的 

MINRES 方法 . 在 该 算法 中 , 第 HIB RA zx 使 得 || b — Ax || 在 集合 
Sk = zo + span(ro, Aro,... , AF! ry) = zo + K(A, ro, k) (10.4.2) 

上 达到 极 小 . 算法 的 关键 思想 是 , 用 Lanczos 向 量 q1,g2,:… ,gx 来 表示 zk. 当 9 是 
初始 残 量 ro = b — Azo 的 倍数 时 , q1,… , qe 可 生成 KA, ro, k). 

在 Saad and Schultz (1986) 提出 的 广义 极 小 残 量 (GMRES) 方法 中 , RAT A 
一 途径 , 不 同 之 处 在 于 迭代 点 用 Amoldi 向 量 而 不 是 Lanczos 向 量 来 表示 , 其 目的 
是 为 了 能 处 理 非 对 称 矩阵 A. Arnoldi 迭代 (9.4.1) 经 过 k 步 以 后 , 产生 如 下 分 解 : 


AQ; = Qr Hi, (10.4.3) 
其 中 Qua = [Qe qi] 的 列 是 标准 正 交 Arnoldi 向 量 ， 
hà hace e hik 
hà haz … Us hak 
Fj 0 h : k+1)xk 
H; = € R ) 
Q > o hkk- hkk 
Q oe 0 /— Agape 


为 上 Hessenberg 矩阵. 在 GMRES 方法 的 第 步 ， 在 约束 条 件 zk = 20+ Qey (Yr € 
R^) ZF, 5 — Aas lla 达到 极 小 . H q = ro/po, po =|| ro (iz, 则 得 到 : 
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|| b — A(zo + Qe yx) lla l| ro — AQ, Ys, | 
=|| ro 一 Qui Aku, | 
=|| poel — Hays lla - 
因此 , y; 是 一 个 (k 十 1) x 的 最 小 二 乘 问题 的 解 , GMRES 和 迭代 为 zk = to + Quy, 
算法 10.4.4(GMRES) 如果 A c R"*^ 非 奇 异 , b eR", ro € R^ 为 初始 向 
È (Axo & b), 则 本 算法 计算 出 Am — b 的 解 x CRT: 


ro = b- Axo 
hio —|| ro | 
k=0 


while hi1 > 0 
Qk1 = Tk/hk+1,k 
k=k+1 
Tk = Ade 
for i=1:k 
hik = qd Tk 
Tk = Tk — hing 
end 
haa 一 | Tx lle 
zy = zo + Quy; 其 中 || hive: — Heys ||; min 
end 
£ = Tk 
容易 证 明 || b — Azp |lo= hepi. 上 Hessenberg 矩阵 的 最 小 二 问题 能 用 Givens 旋 
转 有 效 求解 . 在 实际 计算 中 , 只 有 当 残 量 达 到 我 们 所 希望 的 范围 时 , 才 需 要 形成 zk. 
“无 界 的 GMRES ”的 主要 问题 是 : 在 第 k PRRP, 需 O(kn) 个 flop. 因此 ， 
与 Arnoldi 方法 一 样 , 一 个 实际 的 GMRES 实现 需要 采用 再 启动 技巧 , 以 避免 过 多 
的 计算 量 和 存储 量 . 例如 , 车 最 多 容许 计算 m 步 , 则 zm 可 作为 下 一 个 GMRES 序 
列 的 初始 向 量 . 


10.4.5 MWE 


预 处 理 是 使 GMRES 方法 有 效 的 另 一 关键 因素 . 5 10.3 PHBA 
法 类 似 , 我 们 得 到 一 非 奇异 矩阵 M. = M1 Mo, CAESAR PRUE A. 然后 
对 方程 组 A à = b Hi GMRES 方法 ,其 中 A = Mj AM; b = Mibi = Moe. 
如 果 我 们 对 这 个 波形 号 方程 组 写 出 相应 的 GMRES 和 迭代 算法 , 并 整理 方程 使 得 只 
存储 原始 变量 , 则 所 得 到 的 迭代 中 需要 解 预 处 理 矩阵 为 M 的 线性 方程 组 . 所 以 , 寻 
找 一 个 好 的 预 处 理 矩 阵 M = MM, 就 是 在 以 M 为 系数 矩阵 的 方程 容易 求解 的 
前 提 下 , 使 得 A =M AM;! 尽量 “ 像 ”" 单 位 矩阵 ， 
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10.4.6 WISER SEE 


就 像 Arnoldi 方法 推广 出 GMRES 方法 一 样 , 非 对 称 的 Lanczos 方法 可 推广 出 
WER ALE (BiCG). BiCG 的 出 发 点 可 追溯 到 9.3.1 节 中 由 Lanczos 算法 导出 共 
SU PS ETE. 利用 Lanczos 向 量 , 共 辆 梯度 法 的 第 kc 次 迭代 可 表示 为 mk = 20+ Quy; 
其 中 Q, X Lanczos 向 量 组 成 的 矩阵 , T, = QT AQ, AZWAN, y, 为 方程 组 
Tey, = Qo 的 解 . 注意 关系 式 : 

Qi (b ~ Asr) = QE (ro — AQ, yx) = 0. 
所 以 , 我 们 可 以 通过 要 求 zk WHE mo + K(A,ro,k) 的 元 素 并 且 它 产生 一 个 与 子 
空间 K(A, ro, k) 正 交 的 残 量 来 刻画 zx. 

在 矩阵 为 非 对 称 的 情形 中 , 我 们 可 以 推广 这 一 想法 : 产生 进 代 序列 {arp}, mx € 
ot K (A, ro, k), 相应 的 残 量 与 K (AT, o, k) IESE, so € R^. 如 果 用 非 对 称 Lanczos 
方法 来 产生 两 个 Krylov 空间 的 基 , 则 算法 可 得 到 简化 .特别 地 , 非 对 称 Lanczos 
算法 (9.4.7) 经 过 步 以 后 , 可 得 到 Qr Pe € R^*5, PTQ, = I MENA 
T, = PLAQ,, 使 得 


AQ, =Q,Tk 十 ref, Pi rx = 0; 


(10.4.4) 
ATP, = PTF + spel, Qls,-0. 


在 BiCG 中 , a, = zo + Q,y,, 其 中 Tey, = Qi ro. HER, Galerkin #4 Pg (b 一 
Az) = Pi (ro — AQ,y,) = 0 成 立 . . 

像 所 期 望 的 那样 , 可 以 找 出 从 er- 和 qx-1 的 简单 组 合计 算出 zk 的 选 代 公式 ， 
而 不 是 用 前 面 所 有 的 9 向 量 的 线性 组 合 . 

BiCG 方法 受到 “严重 失败 ”的 制约 , 因为 它 依赖 于 非 对 称 Lanczos 方法 . 然 
而 , 采用 向 前 看 的 Lanczos 方法 , 有 可 能 克服 这 方面 的 一 些 困难 . 


10.4.7 QMR 方法 

从 非 对 称 Lanczos 方法 导出 的 另 一 种 迭代 法 是 Freund and Nachtigal (1991) $8 
出 的 拟 极 小 残 量 法 (QMR). 和 BiCG 一 样 , 第 k 步 迭 代 同 样 具有 形式 zk = zo 十 
Q,y,. 易 证 , (9.4.7) 经 过 k 步 后 有 分 解 : 

AQ, = QiTh, 
其 中 T, REX’ 是 三 对 角 的 . 由 此 可 知 , # qi = p(b — Axo), WA 
b — Ax, = b — A(zo + Qu) 一 ?0 一 AQxy. 
= To — Qk T kYk = Qi41 (P61 — Tryk). 

如 果 选 择 y, 使 得 这 个 向 量 的 2 范 数 极 小 , 则 在 精确 运算 下 ，zo + Quy, 正好 是 
GMRES 迭代 所 产生 的 点 . 在 QMR 中 , 令 y 使 得 | pes — Tey lo 极 小 . 
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10.4.8 Be 


我 们 所 介绍 的 方法 并 没有 绝对 的 好 坏 之 分 . 方法 的 选择 是 复杂 的 , 它 依赖 于 很 
多 因素 . Barrett et al (1993) 对 主要 算法 给 出 了 特别 有 说 服 力 的 评价 . 
习 题 
10.4.1 “类似 于 (10.2.16), 导出 CGNR 法 、CGNE ARENA RTT. 
10.4.2 ”建立 CGNR 法 与 9.3.4 节 中 概括 的 LSQR 法 的 数学 等 价 关 系 . 
10.4.8 WEAR (10.4.3) 
10.4.4. “导出 预 处 理 GMRES 的 实现 , 参照 10.3 FT A ETATE) R37; SX... [ 特 


别 注意 (10.3.2) 和 (10.3.3)]. 
10.4.5 ”证 明 GMRES 最 小 二 乘 问题 满 秩 . 
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在 控制 论 和 其 他 应 用 领域 , 经 常 出 现 自 变 量 为 一 方 阵 A 的 函数 f(A) 的 计算 
问题 . 粗略 地 说 , 如 果 f(z) 是 定义 在 ACA) 上 的 标量 函数 , 则 在 f(z) 的 表达 式 中 
以 A 代替 z, 就 可 定义 f(A). 例如 , 车 f(z) = (1 2)/(0—2), B. 1g AA), B 
f(A) = (I + A)(I — A). 

24 /为 超越 函数 时 , f(A) 的 计算 变 得 非常 有 趣 . 在 这 种 更 为 复杂 的 情形 中 , 一 
种 方法 是 计算 A 的 特征 值 分 解 A = Y BY 1, 并 利用 公式 f(A) =YJ(B)Y t. 若 
B 比较 简单 , 则 f(B) 常常 可 以 直接 计算 . 在 11.1 节 中 , 利用 Jordan 分 解 与 Schur 
分 解 曾 明了 这 一 点 . 利用 后 一 种 分 解 , 计算 f(A) 的 算法 更 稳定 , 这 是 不 足 为 奇 的 . 

处 理 和 矩阵 函数 问题 的 另 一 类 方法 是 用 一 个 容易 计算 的 函数 g (A) 来 逼近 所 求 
的 f(A). 例如 , 9 可 以 是 f 的 Taylor 展开 式 的 前 若干 项 . 11.2 节 给 出 了 这 类 通 近 
问题 的 误差 界 . 

在 11.3 节 , 我 们 讨论 了 一 个 特殊 的 但 非常 重要 的 问题 : 计算 矩阵 指数 e^. 
预备 知识 

阅读 本 章 需 要 掌握 第 1, 2, 3, 7, 8 章 的 知识 . 本 章 各 节 间 的 关系 如 下 : 

11.1 节 一 11.2 节 一 11.3 节 
补充 的 参考 文献 有 : Mirsky(1955), Gantmacher(1959), Bellman(1969) 及 Horn and 
Johnson(1991). 对 本 章 非 常 重要 的 MArLAB 函 数 有 : expm, expml, expm2, empm3, 
logm, sqrtm 和 funm. 


11.1 ”特征 值 方法 
给 定 一 n x n SME A 和 一 标量 函数 f(z), T EEJLBIZETEXE LAE BE f Ht f (A). 
一 种 很 不 正式 的 定义 是 在 f(z) 的 表达 式 中 用 A 代替 z. 例如 , F p(z)=14+2R 


re) = (1-3) (1+2) 2# 2, 则 自然 地 定义 PCA) M r(A) WF: 
. p(A)=I +A, 


r(A) = (1- 4) (r+ 4), 2g (A). 
A ARF z, 也 可 用 于 超越 函数 , 例如 ， 


k=0 ^ 
然而 , 为 了 使 以 后 的 算法 更 精确 , 我 们 需要 f(A) 的 更 精确 的 定义 . 
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11.1.1 定义 


有 许多 种 方法 来 严格 地 建立 矩阵 函数 的 概念 , 见 Rinehart(1955). 最 完美 的 方 
法 也 许 是 利用 周 线 积分 . 假设 f(z) 在 一 个 闭 周 线 也 的 内 部 解析 , 且 本 包围 了 入 (4). 
我 们 定义 f(A) 是 矩阵 : 


f(A)= za f SOCI- A) tae. (11.1.1) 


显然 , 这 一 定义 是 Cauchy 积分 定理 的 矩阵 形式 , 上 面 的 积分 也 可 逐个 元 素 定 义 : 
F(A) = (frj) > frj = wap eter — A) ^lejdz. 

注意 , 矩阵 (o1 — A77) 的 元 素 在 r 上 解析 , 并 且 只 要 f(z) 在 ACA) 的 一 个 邻 域内 

解析 , f(A) 就 有 定义 . 


11.1.2 Jordan 特征 


定义 (11.1.1) 虽然 在 计算 上 用 处 不 大 , 但 它 可 用 来 导出 f(A) 更 多 的 有 用 的 特 
征 . 例如 , 车 f(A) 有 定义 , H 
A= XBX~' = Xdiag(B,,---,B,)X~!, B,¢c™*™ 
则 易 证 
F(A) = Xf(B)X^! = Xdiag(f(B1),… , f(Bp))X~- (11.1.2) 
当 B XJ Jordan 块 时 , 我 们 可 得 如 下 结果 . 
定理 11.1.1 3E X^! AX 二 diag(J1,J2,… , Jp) A A € C^*" 的 Jordan 标 
准 型 JCF), 其 中 


A; 1 0 
0 AX 1 
Ji = t 
"ne 1 
0 0 X 


A mi x mi Jordan Jk. de f(z) 在 包含 MA) 的 一 个 开 集 上 解析 则 f(A) = 
Xdisg(f(J1),:f(09)X 7, HP 


(mi—1)(X. 
fO) fOQ … foo 

0 FO) : 

f(Ji)= j | 
£0 (X) 


0 e eee fs) 
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证 明 ”根据 定理 之 前 的 叙述 , 只 要 观察 (G) 的 形式 就 够 了 , 其 中 G = Ar 
E (E = (6;,;-1)) A q x q Jordan Ek. 假设 (z1 — G) 非 奇异 . 因为 


Qo ee 
un 
由 Cauchy 积分 定理 可 知 
一 1 


q-1 1 q (k) 
(OED [s f rea imer gy ilg 


k=0 
YER E* = (0,4) 即 知 定理 成 立 口 
推论 11.1.2 wR ACC™", A= Xdiag(A1,...,An)X 5, f(A) 有 定义 , 则 
f(A) = Xdiag(f (M1),.… ,f(A X^. 
WEBB ”所 有 的 Jordan 块 都 是 1 x 1 的 . 口 


这 些 结果 表明 了 f(A) 与 4 的 特征 系统 之 间 的 紧密 联系 . 不 幸 的 是 , 除非 4 能 
够 用 一 个 良 态 的 特征 向 量 矩 阵 对 角 化 , 否则 用 Jordan 标准 型 处 理 和 矩阵 函 数 在 计算 
上 是 不 可 靠 的 . 事实 上 , 因为 必须 解 涉及 矩阵 X. 的 线性 方程 组 , 数量 级 为 unsz( 瑟 ) 
的 舍 入 误差 破坏 计算 结果 是 预料 之 中 的 . 下面 的 例子 说 明 计算 矩阵 函数 时 应 避免 
病态 的 相似 变换 . 

例 11.1.1 wR 


A= 


141075 1 
0 1— 10-5 
Jj] 4£ — HAE 6) X 69 FEAR 


1 —1 
x= 
| 0 2(1-— 10-5) | 
的 列 加 权 , 故 其 2 范 数 条 件数 量 级 为 105. 利用 机 器 精度 为 us 1077. 的 计算 机 运 
算 , AMA 


fiX diag(e (11970, 0710) x1 = | 


2.718 307 2.750 000 
0.000 000 2.718 254 


0.000 000 2.718 255 
11.1.3 利用 Schur 分 解 的 方法 
利用 Schur 分 解 处 理 矩 阵 函 数 可 避免 用 Jordan 方法 所 带 来 的 一 些 困难 . 如 果 
A = QTQ"! 是 A 的 Schur 分 解 , 则 
f(A) = Qf(T)QP. 
为 了 使 其 有 效 , 我 们 需要 一 个 计算 上 三 角形 矩阵 的 函数 的 算法 . 不 幸 的 是 , 正如 以 
下 定理 所 示 , f(T) 的 显 式 表 达 是 非常 复杂 的 . 


a | 2.718 309 2.718 282 | 
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定理 11.1.3 RT = (£5) € nx n LE X AERE, 特征 值 Xi = tu, L f(T) 
有 定义 . 如 果 f(T) = (fi;), WZ i> j eH fy =—0, Si=J HW fy =f), WRI< 5 
时 ， | 

fig= o M. tastas tepise fU s Asih 
(80, ,sk)€Sij 

其 中 Sy 为 所 有 以 开头 且 以 j 结尾 的 严格 单调 递增 整数 序列 组 成 的 集合 ，f[ 和 so， 
… As] 是 了 在 {和 so,… ,和 os} 的 上 阶 均 差 . 

证 明 Jl Descloux(1963), Davis(1973) 或 Van Loan(1975). Oo 

用 定理 11.1.3 计算 f(T) 8$ O(27) 个 flop. 幸运 的 是 , Parlett(1974) 导出 了 一 
个 计算 矩阵 F = f(T) 的 严格 上 三 角 部 分 的 完美 递 推 公式 , 它 仅 需 2n3/3 个 flop, 
而 且 可 由 可 交换 结果 

FT =TF | (11.1.3) 


导出 . 事实 上 , 比较 此 方程 两 边 的 (i,j) 元 可 知 : 


J 


j 
S fatu = M tints, jd 


kai k—i 
因此 , # tij É tijs 则 
Sig — fü 、 tik fki 一 Jirtkj 


j— 
fg =t + 2 


(11.1.4) 
bts a 


tjj — tu 
从 此 可 知 , fig 是 矩阵 F 中 它 的 左边 和 下 边 的 邻近 元 素 的 线性 组 合 . 例如 , 元 素 fos 
依赖 于 foo, fas, foa, fos, fas, fas 的 值 . 因此 , F 的 整个 上 三 角 部 分 都 可 以 算出 , 从 对 
角 元 Flt), (2) 开始 ， 每 次 能 计算 出 一 条 超 对 角 线 . 整个 算法 如 下 . 
算法 11.1.1 “本 算法 计算 出 矩阵 函数 F= f(T) 其 中 卫 为 上 三 角形 矩阵 且 
特征 值 互 不 相同 , f 在 和 (T) 上 有 定义 . 
for i=i:in 
fis = f (tis) 
end 
for p—1:n-—1 
for i—1:n-—p 
j=i+p 
s = tij(Fig — fü) 
for k=i+l:j-1 
s =s + tikfrj — Jiktkj 
end 
fig = 8/ (tj3 — tii) 
end 
end 
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本 算法 需要 2n3/3 个 flop. MRT = QAQ" 是 A W Schur Hf, JU] f(A) = QF QU, 
其 中 下 = f(T). 显然 , 计算 f(A) 的 大 多 数 工作 量 都 花 在 Schur 分 解 上 , 除非 函数 
f 的 计算 代价 极其 昂贵 . 


例 11.1.2 ”如果 
1 2 3 
T—-|034|, 
0 0 5 
f(z) = (1+ z)/z, BW F = (fi) = F(T) 的 定义 如 下 : 


fu 5 (1 1)/1— 2, 
J22 = (1 + 3)/3 = 4/8, 
fss = (1 + 5)/5 = 6/5, 
fia =t12(f22 — fir)/(t22 — t1) = —2/8, 
fos = tas(fas — fo2)/(ta3 — t22) = —4/15, 
fis = [t13(f33 — fii) + (tre fos — ti2t23)]/ (ta3 — t11) = —1/15. 
11.1.4 $3 Schur 方法 
如 果 和 矩阵 4 有 相近 的 或 相同 的 特征 值 , 则 算法 11.1.1 效果 很 差 . 在 此 情形 下 ， 
可 推荐 用 算法 11.1.1 的 分 块 形式 . 我 们 大 致 介绍 一 下 归功 于 Parlett(1974a) 的 这 样 


一 个 算法 . 第 一 步 是 在 Schur 分 解 中 选择 一 个 恰当 的 Q, 使 得 A 的 相近 或 相同 的 
特征 值 集中 在 T 的 对 角 块 Tu, To 中 . 确切 地 说 , 我 们 必须 要 计算 一 种 划分 : 


Tu Ti c Tip Fu Fi © Fip 
0 To 1 T» 0 Fo. Fẹ 

T= . . . . , F= . . . . , 
0 0 -~ T, 0 0 ... Fy 


其 中 (Ty) n XT) A2 iA j. 用 7.6 节 中 的 方法 可 以 决定 块 的 大 小 . 

下 一 步 是 计算 子 矩阵 Fy = 了 (Tw),i = 1 : p. BEER Tu 的 特征 值 很 相近 , 那么 
这 些 f(T) 的 计算 需要 特殊 的 方法 . (在 以 下 两 节 中 , 我 们 将 讨论 几 种 方法 .) — 8. 
F 的 对 角 块 已 知 了 , FF 的 严格 上 三 角 块 也 可 递 推算 出 , 就 像 所 有 的 块 都 是 标量 一 样 . 
比较 FT = TF 中 i< j 的 块 G7), 可 得 (11.1.4) 的 如 下 推广 , 它 是 确定 递 推 关系 
的 方程 : 

j—1 
FT; 一 TwiPF'i; = Tj Fj;; — FuTij + » (Ti Fk; 一 FüTj). (11.1.5) 
k=i4+1 
如 果 每 次 要 算出 P 的 一 个 超 对 角 块 Fy 则 这 是 一 个 右边 已 知 , 未 知 量 为 块 Fy 之 
元 素 的 线性 方程 组 . 它 可 以 用 Bartels-Stewart 算法 (算法 7.6.2) 来 求解 . 
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计算 实 矩 阵 的 实 函 数 时 , 这 里 介绍 的 计算 f(A) 的 分 块 Schur 方法 是 很 有 用 的 . 
在 计算 了 实 Schur 分 解 4 = QTQT Ja, 可 用 上 面 的 分 块 算法 沿 着 T 的 对 角 线 来 
处 理 这 些 2 x 2 块 的 计算 问题 . 

习 RE 

11.1.3 ”利用 定义 (11.1.1) 证 明 : (a) Af(A) = f(A)A, (b) 4 A 是 上 三 角形 和 矩阵 时 ， 
f(A) 也 是 上 三 角形 挎 阵 ，(c) 当 A 是 Hermite WREN, f(A) 也 是 Hermite FER. 

11.1.2 ”改写 算法 11.1.1, 使 得 f( 工 ) 一 列 一 列 来 计算 . 

11.1.3 W A= Xdiag(A)X 7, HP X = [zi ,zn] 80 X^ — [yu yu]. 证 
Bj: 如 果 f(A) AEM, 则 . 

F(A) = 3 fO)oi- 
k=1 


11.1.4 ”证 明 : 
T T F 
T= 11 amp. HT) = u Fi2 |p 
0 Ta |q 0 Foz 
p q p q 


其 中 Fu = f(T), F22 = f(T22), 这 里 假定 f(T) 有 定义 . 
本 节 注 释 与 参考 文献 


本 书 中 介绍 的 f(A) 的 周 线 积分 表示 由 于 其 一 般 竹 在 泛 函 分 析 中 很 有 用 , M: 
N. Dunford and J. Schwartz (1958). Linear Operators, Part I, Interscience, New York. 
正如 我 们 所 说 , 也 可 用 f(A) 的 其 他 定义 . 但 是 , 对 于 在 实际 中 通常 出 现 的 矩阵 函数 , 所 有 
这 些 定义 都 是 等 价 的 . 见 : 
R. F. Rinebart(1955). “The Equivalence of Definitions of a Matric Function," Amer Math. 
Monthy 62, 395—414. 
关于 Jordan 表示 的 各 个 方面 详 见 : 
J. S. Frame(1964). “Matrix Functions and Applications, Part II,” IEEE Spectrum 1 (April), 
102-131. 
J. S. Frame(1964). “Matrix Functions and Applications, Part IV," IEEE Spectrum 1 (June), 
123-131. 
下 面 的 文献 涉及 Schur 分 解 及 其 与 1(4) 问题 的 联系 : 
D. Davis(1973). ^Explioit Functional Calculus” Lin. Alg. and Its Applic.6,193-199. 
J. Descloux (1963). “Bounds for the Spectral Morm of Functions of Matrices, “ Numer. 
Math.5,185-190. 
C. F. Van Loan(1975). “A Study of the Matrix Exponential, ” Numerical Analysis Report 
No. 10, Dept. of Maths., University of Manchester, England. 
算法 111. 以 及 当 其 用 于 有 相近 的 或 相同 的 特征 值 的 矩阵 时 的 各 种 各 样 的 计算 困难 可 见 下 
列 文献 的 讨论 : 
B. N. Parlett(1976). “A Recurrence Among the Elements of Functions of Triangular Matri- 
ces,” Lin. Alg. and Its Applic. 14, 117-121. 
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如 果 A 可 约 化 成 块 对 角形 式 (7.6.3 45), 则 用 于 f(A) 问题 的 Jordan 方法 与 Schur 方法 
可 达成 妥协 , 见 : 
B. Kagstrém(1977). “Numerical Computation of Matrix Functions," Department of Infor- 
mation Processing Report UMINF-58.77, University of Umea, Sweden. 
关于 矩阵 函数 对 扰动 的 敏感 性 的 讨论 可 见 : 
C. S. Kenney and A. J. Laub(1989). “Condition Estimates for Matrix Functions,” SIAMJ. 
Matriz Anal. Appl. 10, 191—209. 
C. S Kenney and A. J. Laub(1994). “Small-Sample Statistical Condition Estimates for Gen- 
eral Matrix Functions," SIAM J. Sci. Comp. 15, 36-61. 
本 章 的 一 个 主题 是 , 若 4 非 正规 , 则 计算 f(A) 远 不 仅 是 在 ACA) 上 计算 f(z), 伪 特 征 值 
是 理解 该 现象 的 一 种 方法 , 见 : 
L. N. Trefethen(1992). “Pseudospectra of Matrices,” in Numerical Analysis 1991, D. F. 
Griffiths and G. A. Watson(eds), Longman Scientific & Technical, Harlow, Essex, UK. 
在 11.3.4 节 将 有 更 详细 的 讨论 . 


11.2 j& Xr 法 


本 节 , 我 们 讨论 一 类 初 看 起 来 不 涉及 特征 值 的 计算 矩阵 函数 的 方法 . 这 类 方法 
的 基本 思想 是 , 如 果 g(z) 在 AA) ERE fe); 则 g(A) 逼近 f(A), 例如 : 
a QA A^ 
eAwI+A+— tat .十 一 
首先 我 们 用 矩阵 函数 的 Jordan 表示 和 | Schur Joke IL f(A) — gCA)]| 的 界 . 之 


后 再 讨论 一 下 矩阵 多 项 式 的 计算 . 
11.2.1 Jordan 分 析 
矩阵 函数 的 Jordan 表示 (定理 11.1.1) 可 用 来 给 出 g(4) 逼近 f(A) 的 误差 界 . 


定理 11.2.1 jk A € C"? 的 Jordan 标准 型 为 
X AX = diag(Ji, J2, Ut , Jp), 


其 中 
A 1 0 
0 X 1 
Ji- : 
1 
0 X 


为 mi x m, Jardan 3k. 如 果 f(z) 和 g(z) 在 包含 AA) 的 一 开 集 上 解析 , 则 
IFO (X) - 9 OD) 


f(A) — g(A)ll2 < sa(X) max m ri 


——" 
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证 明 > A(z) = f(z) — g(z), W 
F(A) — e(ADIIa = [|X diag(h(J1),--+ (15) X 7 llo < na) max A(T Nz. 
应 用 定理 11.1.1 和 等 式 (2.3.8), 可 得 
JA (A;)] 


alp < mi 0<r<mi-1 r! 
由 此 可 知 定理 成 立 . 口 
11.2.2 Schur 分 析 
如 果 不 用 Jordan 分 解 而 用 Schur 分 解 , 则 可 得 另 一 个 误差 界 . 
定理 11.2.2” 设 AeC"xn 的 Schur PMA QUAQ =T = diag() + N, 其 
中 人 N 为 工 的 严格 上 三 角 部 分 . wR f(z) 和 g(2) 在 一 个 内 部 包含 A(A) $68) S E 
N 上 解析 , m 
S LIN F Ile 
f(A) -Alle < V; a 
r=0 ` 
其 中 ô = sup |f? (z) — g(? (2). 
WEBB 令 A(z) = f(z) ~ g(z), H = (hag) = h(4). id sy 为 所 有 满足 80 一 
i, sp = j 的 严格 递增 整数 序列 (so, st,… , sr) 组 成 的 集合 . 注意 到 5;; = U sf n 
r—1 
定理 11.1.3 可 知 , 对 所 有 的 i<j;, 有 


j—1 
hij = ) $ ; Nso,511Ls1382 Ms2,83 °°“ Tos, iis, h[As,; Ue As] 


r=1 sest? 


BUAA 2 ERIE h 解析 , 那么 


(r) 
|A[Asos*** s As,]| S sup ne’) = Ug (11.2.1) 
zEQ r! r! 
TWA, 着 记 IN = (n{P),r > 1, RISTUE: 
0 j«icrr, 
ni? = 5 |Nsoss1 sposa “Tosr issr)l, JZi+r (11.2.2) 
sesi 


在 hi; 的 表达 式 两 边 取 绝 对 值 , 然后 利用 (11.2.1) 和 (11.2.2), 可 知 定理 成 立 。 O 
上 面 定 理 中 的 界 表明 , 仅仅 在 A 的 谱 (A) 上 逼近 f(A) 是 不 够 的 . 特别 地 ， 
如 果 4 的 特征 矩阵 是 病态 的 或 者 它 同 正规 矩阵 的 分 离 度 很 大 , 则 f(A) 与 9(4) 的 
差 可 能 会 比 |f(z) — g(z)| YE MA) 上 的 极 大 值 大 得 多 . 因此 , 虽然 逼近 方法 可 以 避 
免 特 征 值 的 计算 , 但 它 受 到 4 的 特征 矩阵 的 结构 的 影响 . 这 一 点 我 们 下 一 节 将 继续 
讨论 . 
例 11.2.1 假设 


11.2 i& i 


—0.01 1 1 
A= 0 0 1 
0 0 0.01 


车 f(z) = e*,g(z) = 1+2+27/2, MARA Frobenius WAKA 2 范 数 ， 都 有 
F(A) — g(A)|] © 107°. 因为 ka(X) & 1077, 用 定理 11.2.1 估计 的 误差 为 O(1), 比 


较 保守 . 另 一 方面 , 用 Schur 分 解 估 计 的 误差 为 O(107?). 
11.2.3 Taylor 通 近 


一 种 逼近 算 阵 函数 (例如 e^). 的 常用 方法 是 用 截断 的 Taylor 级 数 . 一 个 矩阵 


函数 f(A) 存在 Taylor 级 数 展开 的 条 件 是 很 容易 找到 的 . 


定理 11.2.3 wR f(z) 在 包含 MA) 的 一 个 圆 意 上 有 Taylor 级 数 展开 : 


oo 


f(z) = Y oc, 


k=0 


则 


oo 


f(A) = Mia A*. 


k=0 


证 明 ”我 们 对 4 是 可 对 角 化 的 情形 来 证 明定 理 . 在 习题 11.2.1 中 , 给 出 提示 
说 明 无 此 假设 如 何 处 理 . YE X C! AX = D = diag( 和 1,… ,Mn), 应 用 推论 11.1.2 有 


f(A) =Xdiag(f(A1),--+, f(An))X)* 
_xiiag( Skt Sekt) x7 
k=0 k=0 
=X cD!) X`! 
(Zan) 
-V'a(XDX y =) aA" 
k=0 k=0 


几 个 重要 的 超越 矩阵 函数 有 特别 简单 的 级 数 展开 : 
oo AF 
In(I- A) = V. > 
k=1 
A2K+1 


sin (A) = 3 et 


oo AS 
cos( A) = 27D gr 


下 面 的 定理 给 出 了 用 截断 的 Taylor ZIRELA PE ERST RE. 


|| < ,A€ A(A), 
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定理 11.2.4 2 ACC WR f(z) AAS NA) HFHALA Taylor 
展开 : » 
f(z) = Darz", 
k=0 
则 有 以 下 估计 
q 
k 
|j - Yt, < cr s anm mta 
WEB] ”定义 矩阵 E(s) 如 下 : | 
q 
As) = 》 ax(As)* + E(s), 0&s&1. (11.2.3) 
车 以 fij(s) 来 表示 f(As) 的 (4,3) 76. 则 它 肯定 是 解析 的 , 所 以 有 


L f) Ij leu) 
fii(s) = (X Hd s) + GFO! sql, (11.2.4) 


其 中 OKey <s<l. 
在 (11.2.3) 和 (11.2.4) 中 比较 s RFE, 可 知 矩阵 E(s) AY (i, j) 元 eu(s) 有 如 下 
形式 : (q+1) 
7 _ 5 (Eiz) q+1 
eij (s) = TESNI gt, 
现 知 SET (s) 为 矩阵 AM FO) (As) 的 (i,j) 元 , 因此 


ME OPEM RICO 


lei (s)] € 


ogsei (q--l) ^ ossi (g 4-1)! 
应 用 (2.3.8) R, 即 得 定理 结论 . 口 
例 11.2.2 £A- | -49 24 | , NJ 
-64 81 


—1.471518 1.103 638 
%q=59 时 , 定理 11.24 AARET 


AL. | —0.735 759 0.055 181 9 | 


q 
A* 
A — qtlo As < 一 60 
lle 2. uar = ll < Gr qax lA e lla < 10 


Rm, 3 uc 1077 时 , 发 现 


n (Xx 4)- —22.258 80 —1.432 276 6 
— k! —61.499 31 —3.474 280 


问题 在 于 部 分 和 中 的 有 一 些 很 大 的 元 素 . 例如 ,在 T 十 4 二 … 十 471/17 中 ,有 的 元 
35358] O(107), 然而 机 器 精度 只 有 10-7, 所 以 会 入 误差 比 解 的 范 数 要 大 得 多 . 
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例 11.2.2 说 明了 用 截断 的 Taylor 级 数 来 逼近 矩阵 函数 的 一 个 缺点 是 只 有 在 原 
点 附近 它 才 有 意义 . 有 时 候 , 通过 变换 可 克服 这 一 点 . 例如 , 重复 应 用 倍 角 公式 : 


cos(24) = 2cos?(A) — I, sin(2A) = 2sin( A) cos(A), 
可 用 适当 的 截断 Taylor 级 数 逼 近 “ 组 装 ” 和 矩阵 的 正弦 值 与 余弦 值 : 
So = sin(A/2*) I} Taylor 逼近 
Co = cos(A/2*) i) Taylor iit 


for j=1:k 
Sj = 28j;-1Cj-1 
Cj = 2C? 1 一 了 
end 


这 里 是 一 个 适当 选取 的 正 整数 , 比如 || Allo = 2*. 参阅 Serkin and Blalock(1979). 
11.2.4. 计算 矩阵 多 项 式 


因为 在 超越 矩阵 函数 的 逼近 中 经 常 涉及 计算 多 项 式 , 所 以 有 必要 详细 讨论 多 项 

式 
p( A) = boI +b: A+ t bAT 

的 计算 问题 , 其 中 bo,… bg 为 已 知 的 实数 . 最 明显 的 办 法 是 用 Horner 技巧 . 

算法 11.2.1 BR —ÓE RF A 和 向 量 b(0 : g), 则 本 算法 计算 多 项 式 : 

F= b,A? +---+b,A + bol 

F = bA+tbg-1l 

for k=q—2:-1:0 

F = AF + byl 


or q—1 KERERE. 然而 , 和 标量 的 情形 不 一 样 , 这 种 求 和 过 程 并 不 是 最 
好 的 . AF AME? 以 g = 9 为 例 来 说 明 . 注意 到 : 
p(A) — A? CA? (bo A? + (ba A? + b7A + bel) 
+ (bs A? + b4A + bg I) + b24? + 1A + bol. 

因此 , RA DO a sere et FP = p(A): 

A, = A? 

As = AA» 

F, = bo As + bg Az + bz A + bel 

Fy = A3F, + bs A + b4 A + bsI 

F = AzF + b2 Ag +b, A + bol 
一 般 来 说 , 3$ s 是 满足 1 < s < Vi 的 任 一 整数 , 则 
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p(A) = 》 B,(A‘)*, r = floor(q/s), (11.2.5) 
k=0 


其 中 
B, = bskts—1A | +- bsk At deel, ko0:r—1, 
k bg AT 7 + +++ borp A+ bU, k=r. 


一 旦 A?,... , A? 算出 , Horher 规则 可 用 于 (11.2.5) 式 . 所 以 , p(A) 可 以 只 用 st+r-1 
次 矩阵 飞 法 就 得 到 . 34 s = Hoor(vg) 时 , 矩阵 乘法 的 数目 大 约 极 小 化 . Paterson and 
Stockmeyer(1973) 讨论 了 这 一 技巧 . Van Loan(1978) 给 出 了 不 用 存储 A?,… ,A 
就 能 使 这 一 方法 实现 的 技巧 . 
11.2.5 “计算 矩阵 的 祖 

一 个 矩阵 的 寡 的 问题 值得 特别 注意 . 假设 要 计算 AM, 注意 到 At = (A?)?, AP = 
(A4)?, 413 = 48444, ELS 5 次 矩阵 乘法 就 可 完成 这 一 运算 . 对 一 般 情 况 , 算法 如 
F. 

算法 11.2.2 (SHERRI) ASEM ACR" 和 正 整数 s, 本 算法 计算 宏 
F = A’. 


设 s = 局 为 s H-~KRHAKF, Bi 天 0 
k=0 
Z=Ag=0 
while bas=0 
Z=2;q=q+1 
end 
F=Z 
for k=q+1:t 
Z-2 
if 8.70 
F= FZ 
end 


end 


这 一 算法 最 多 需要 2hoorlioga(s)] 次 矩阵 乘法 . d$ s 是 2 HAE, 则 只 需 logz(s) KAR 
， 阵 乘法 . 
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11.2.6 Se RAS 
本 节 我 们 简略 介绍 矩阵 函数 的 积分 . 假设 f(At) 对 所 有 的 te [a b] 有 定义 , 我 
们 希望 计算 
F= | f(At)dt. 
和 (11.1.1) 一 样 , 上 式 是 对 每 一 元 素 逐 个 积分 . 
一 般 的 求 积分 规则 对 1 也 是 适用 的 . 例如 , 应 用 Simpson 公式 , 有 


~ hÆ 
Fx~F=3 2. wx f (A(a + kh)), (11.2.6) 


其 中 m MB, h= (b — a)/m, wi 的 值 如 下 : 
1, k=0,m, 
Wk = | 4 k APR, 
2, k ABR, k #0, m. 
如 果 (dt/dzt)f (zt) = f(9(zt) YE t € [a,b] LER, 且 O(t) 在 同一 区 闻 上 有 定 
X, 则 可 证 
F=F+E, 
其 中 


|Ell2 < nhio- a) max ||f‘4)(At)||2- (11.2.7) 


180 a«t«b 


用 fü 和 ij FIER F M E H (i,j) 元 . 在 上 述 假设 下 , 应 用 Simpson 公式 的 标 
准 误差 界 可 得 


Mb — 2) max fe? f" (Atjejl 


"IPS 
leu| < 180  aext&b 


因为 ||Ellz € n maxle;;| E 
max et f (At)ej| < mex ||fO(Ad)lle, 
所 以 (11.2.7) 成 立 . 当然 , 在 (11.2.6) 的 实际 应 用 中 , 函数 f(A(a kh)) 一 般 要 用 通 


近 的 方法 来 估计 . 因此 , 整体 误差 包括 逼近 f(A(a + kh)) 所 带 来 的 误差 和 Simpson 
公式 本 身 所 具有 的 误差 . 


习 题 
11.2.1 (a) t G=) + E Æ px p Jordan KR, HH E = (5,51), 证 明 : 


min{p—1,k} k o, 
QI-EF- > DIAS ES 
J 


j-0 


(b) 利用 (a) 和 定理 11.1.1 证 明定 理 11.2.3. 
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11.2.2 ”证 明 (11.2.2) 

11.2.8 WH: # ||Allo < 1, W In(Z +4) 有 定义 ， 且 不 等 式 || In(I+ A)ll2 € {|Alle/Q— 
||Al|2) RE. 

11.2.4 EA 4 是 一 nxn 对 称 正 定 矩 阵 . (a) 证 明 存 在 唯一 的 对 称 正 定 矩 阵 X, 使 得 
A= X?. (b) 证 明 ; d$ Xo = I, Xx41 = (Xk + AX;,")/2, W| X, 一 VA, 这 里 平方 根 VA 
表示 (a) 中 的 X. 

11.2.5 ER A 是 对 称 的 和 上 三 角形 的 两 种 情况 改写 算法 11.2.1, 并 给 出 相应 的 flop 
数 . 

11.2.6 ÙH: X(t) = Ci cos(tV A) --C2 V A^ sin(tVA) 是 初 值 问题 X(t) = —AX (t), 
X(0) = C1, 文 (0) = C 的 解 . 这 里 假定 4 是 对 称 正定 的 . 

11.2.7 ”利用 定理 11.2.4 的 


sin(A) = EC 1)* —___ dne cos( A) % yc 1)* a 


11.2.8 WF A eR"*" FEAR, Xo € R"*" HE. BK 
Xr = XXI — AX&) 


是 函数 f(x) = a— (1/2) 的 Newton 法 的 什 阵 形式 . 应 用 SVD 分 析 这 一 迭代 . 它 收敛 到 AM 
吗 ? 讨论 初 值 Xo 的 选取 . 
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计算 矩阵 佘 弦 值 的 “ 倍 角 ”方法 之 分 析 可 见 : 

S. Serbin and S. Blalock(1979). “An Algorithm for Computing the Matrix Cosine,” SIAM J. 
Sci. Stat. Comp. 1, 198-204. 
平方 根 是 一 重要 的 矩阵 函数 , 见 4.2.10 节 . 处 理 它 有 好 几 种 途径 : 

A. Björck and S.Hammarling(1983)." A Schur Method for the Square Root of a Matrix,” Lin. 
Alg. and Its Applic. 52/53, 127-140. 

N.J. Higham(1986). “Newton’s Method for the Matrix Square Root,” Math. Comp. 46, 
537-550. 

N.J. Higham(1987). “Computing Real Square Roots of a Real Matrix,” Lin. Alg. and Its 
Applic, 88/89, 405-430. 


11.3 EREK 
经 常 要 计算 的 矩阵 函数 之 一 是 指数 : 


计算 它 的 算法 已 有 许多 , 但 正如 Moler and Van Loan(1978) 的 综述 性 文章 所 指出 
的 那样 , 它们 中 大 多 数 在 数值 上 都 是 不 可 靠 的 . 为 了 说 明 计算 的 困难 所 在 , 我 们 在 
Pad6 逼 近 的 基础 上 提出 一 种 “加 权 与 平方 ”的 方法 . 然后 , 又 给 出 了 此 方法 的 简要 
分 析 , 这 里 涉及 e^t 的 一 些 扰动 理论 . 在 非 正规 和 矩阵 的 情形 , 我 们 指出 了 特征 分 析 
的 缺点 . 
11.3.1 Padé iBifit 

按照 11.2 节 讨论 的 结果 , 车 g(z) = e", 则 9(4) = e. 为 达到 这 一 目的 , 有 一 
类 非常 有 用 的 逼近 函数 — Padé: 

Rpalz) = Dpq(z)~* Npo(z), 


其 中 
2, (p+q4-—k)!p! 
Nw) = 2 or - k)! 7. 
(p+ gq — k)g! 
Dy) -X OR 


注意 , Rpo(z)=1+2+---+2?/p! 是 p 阶 Taylor 多 项 式 . 
不 幸 的 是 ， padé 台 近 仅 在 原点 附近 才 非常 好 , 下 面 的 等 式 说 明了 这 一 点 : 


A = RS) + EP arp) [ auetan (11.3.1) 
(p+ q)! 0 


然而 , 利用 事实 e^ = (e4/m)m 可 以 来 克服 这 一 困难 . 特别 地 , 我 们 可 以 把 A 除 以 
m, 使 得 Fog = Ryl A/m) 是 ea/m 比较 精确 的 逼近 . 然后 用 算法 11.2.2 计算 Fo 
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如 果 m 是 2 BRE, 则 这 相当 于 重复 地 平方 , 因而 非常 有 效 . 整个 算法 的 好 坏 取决 于 


逼近 " 
A 
(e) 
的 精度 . Moler and Van Loan(1978) 证 明了 : #7 [Allee < > 则 存在 矩阵 Ecm^*^, 
使 得 


A+E 


Fp — € , 
AE — EA, 
Ello < p, 9 Allo; 


elp, g = 28-00... P9 — 
p.e) (p+q)\(p+q+1)! 


这 些 结果 形成 了 有 效 计算 e^ 且 控 制 误 差 的 方法 之 基础 . 利用 上 面 的 公式 , 易 证 不 
等 式 
|le4 = Fpalloo 
le^ loc 
参数 p,g 可 以 根据 所 要 求 的 相对 误差 容 限 来 确定 ， 注意, 既然 FL 大 约 需 要 j+ 
max(p,q) 次 矩阵 乘法 , 所 以 最 好 令 p = q, 因为 这 对 给 定 的 工作 量 , 使 s(p,9) 极 小 . 
把 这 些 思 想 结合 起 来 , 就 得 到 下 面 的 算法 . 
算法 11.3.1 BEE A c R?*" 和 6 > 0, 本 算法 计算 出 矩阵 F = e^, 
其 中 ||Elloo < d||Alfoo- 
j = max(0, 1 + floor(log.(||A||oo))) 
A= Aj2i 
Aq ARR elga) <6 的 最 小 的 非 负 整 数 
D=I;N=I1;,X =TI;c=1 
for k—1:q 
c= c(q — k + 1)/[(2q — k + 1)k] 
X =AX:N=N+cX;D=D+4(-1)*cX 
end 
用 高 斯 消去 法 从 DF — N RH F. 
for k—1:j 
F = F? 
end 
这 一 算法 需要 大 约 Uq 4- j +1/3)n3 个 flop. Ward(1977) 彻底 分 析 了 它 的 含 入 误差 
性 质 . 
11.2 节 中 特殊 的 Horner 技巧 可 用 来 加 快 D = Dyl A) 和 N = NGA) 的 计算 . 
例如 , i q=8, WA N,,(A) =U + AV, Dul A) =U — AV, BP 


U = col + c5 A? + (cl + c6 A? + cs AS) A*, 


« e(p, gj A|[s,e* PDA, 
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V — cil + cg A? + (esI + c; A?) A*. 
显然 , 只 用 5 次 矩阵 乘法 就 可 算出 N 和 D, 但 算法 11.3.1 却 需要 7 KERERE. 
11.3.2 ”扰动 理论 

有 舍 入 误差 时 算法 11.3.1 是 否 稳 定 呢 ? 回答 这 一 问题 需要 了 解 矩 阵 指 数 对 和 拖 

BE A 中 扰动 的 敏感 度 . 讨论 的 出 发 点 是 初 值 问题 : 
X(t)=AX(t), X(0) — I, 

其 中 , A, X (t) e R^*^. 它 有 唯一 解 X (t) = e^t, 矩阵 指数 的 此 特征 可 用 来 推导 恒 
等 式 : 


t 
ATE)t _ oAt 一 | eA(t-s) pe(A+E)sgs. 
0 


利用 上 式 可 得 
[e 4*9» — e^t] | ||Ell 
lle^*llo ~ |le^*llz 
MERIAH ao BR PRE, 则 结果 可 进一步 简化 . 这 样 做 的 一 条 途 
径 是 利用 Schur 分 解 . 3$ QUAQ = diag(\;) + N 是 4eCnxn 的 Schur 分 解 , 则 
可 证 : 


| le^ 9 lale TP lads. 
0 


lelle < e00, (11.3.2) 
其 中 
a(A) = max(Re(A) : A € A(A)}, (11.3.3) 
n—1 k 
Ms(t) 二 5 ve, 


数 oA) WARRT, 简单 的 运算 可 知 ; 

le 4 5*t _ e^*||; 
lle^* [|o 

注意 , Ms(t) 2 1 当 且 仅 当 A 是 正规 的 , 这 表明 当 4 是 正规 矩阵 时 , 矩阵 指数 e^* 

ERAR”. 这 一 点 被 它 的 条 件数 所 证 实 . 和 矩阵 指数 的 条 件数 v(A,) 定义 如 下 : 

max 1 Allo 

Illae allele 

Van Loan(1972) 讨论 了 该 数值 衡量 映射 4 一 e4 的 敏感 度 , 对 给 定 的 t, 存在 矩阵 

E 使 得 


< t| B||2Ms(t)’exp(tM s(t)|| Bla). 


v(A,t) = 


t 
| eA(t-s) EeAsds 
0 


lle * — e^t [lo ILE lla 

lle4*|la | Allo” 
因此 , 如 果 vA, t) 很 大 , 则 A 中 很 小 的 变化 会 导致 eA 中 相对 很 大 的 变化 ， 不 
幸 的 是 , 很 难 精确 地 刻画 使 (A, t) 很 大 的 矩阵 4( 这 和 线性 方程 组 Ax = b 相反， 


£ v(A,t) 
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那里 病态 的 矩阵 A 可 用 奇异 值 分 解 SVD 来 简洁 地 描述 )， 然 而 , 可 以 肯定 的 是 ， 
v(A,t) > t|| All, 等 号 对 所 有 的 非 负 t 成 立 当 且 仅 当 A BERERE. 

多 注意 一 下 非 正 规 的 影响 , 就 可 从 11.2 PME At 所 涉及 的 不 仅仅 是 在 
AA) 上 逼近 ezt. 另外 一 条 线索 是 由 特征 值 不 能 得 出 问题 e4t 的 全 部 性 态 , 这 与 谱 
的 横 坐 标 (11.3.3) 不 能 预测 时 间 应 数 ||e4t||。 的 大 小 是 相关 的 . 如果 A IESE 
BE, 则 

je4tjl = et, (11.3.4) 
因此 , 如 果 A 的 特征 值 都 在 左 半 开平 面 的 话 , 则 上 式 是 一 致 衰减 的 . 但 若 A 是 非 
正规 矩阵 , 则 e4 在 衰减 以 前 可 能 会 增长 . 下 面 的 2 x 2 矩阵 


0 —1 0 1 


很 清楚 地 说 明了 这 一 点 . 
11.3.3 “一些 稳定 性 问题 
有 了 上 面 讨论 我 们 可 开始 考虑 算法 11.3.1 的 稳定 性 . 如 果 A 是 一 个 指数 在 衰 
VRBE MAE BE, 在 平方 的 过 程 中 会 出 现 一 些 潜在 的 困难 . 如 果 
G = Raq (4) Rd e4/2 ， 
则 可 证 会 入 误差 界 的 数量 级 为 
y = ullG?llzliG^lla --- 1G? ^ lla. 
它 损害 所 计算 的 G2 是 意料 之 中 的 . 如 果 eA 的 初始 增长 很 大 , 则 可 能 
7 > u|IG? | ~ ulle4|le, 
从 而 排除 了 相对 误差 较 小 的 可 能 . 

AUR A REWER, 则 G 也 是 正规 的 , 因而 对 所 有 正 整 数 m IG" lla = 
GIZ. 所 以 , y = ullG? llo ~ ulle, 故 初 始 增长 的 问题 消失 了 . 当 A 是正 规矩 
阵 时 , 基本 上 能 保证 算法 的 相对 误差 较 小 ， 反 过 来 , 当 A 是 非 正规 矩阵 时 , 要 对 方 
法 给 出 结论 更 加 困难 , 因为 还 不 清楚 矩阵 指数 的 条 件数 (A, t) 与 初始 增长 现象 之 


HIRA. 然而 , 数值 实验 表明 , 只 有 当 v(A4,1) 很 大 时 , 算法 11.3.1 不 能 给 出 相对 
精确 的 e4. 
11.3.4 ”特征 值 和 伪 特 征 值 

在 7.1 节 的 结尾 , 我 们 指出 , 用 矩阵 的 特征 值 来 衡量 与 奇异 矩阵 的 接近 程度 时 
往往 不 是 很 好 , 除非 矩阵 是 正规 的 . 在 方程 组 Ar = b 的 扰动 分 析 中 , 正 是 矩阵 的 奇 
异 值 反映 了 扰动 的 灵敏 度 . 我 们 对 矩阵 指数 的 讨论 是 对 这 种 效应 的 另 一 个 警示 . 一 
个 非 正规 矩阵 4 的 谱 不 能 完全 描述 e4 的 性 态 . 
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在 许多 应 用 中 , 矩阵 的 特征 值 对 所 建 模 的 基本 现象 “说 明 ” 些 什么 . 但 当 特征 
值 对 扰动 极为 敏感 时 , 它们 所 说 明 的 则 可 能 会 是 误导 . 这 促使 了 伪 谱 的 思想 的 发 展 . 
X} e > 0, 矩阵 4 的 e 伪 谱 定 义 如 下 : 

d-(A) = fz eC: GI- A)" 2 HI (11.3.5) 
定性 地 讲 , 34 2I— A 充分 接近 奇异 矩阵 时 , z 即 是 4 的 一 个 伪 特 征 值 . 约定 (A) = 
A(A). 下 面 是 伪 谱 的 一 些 性 质 : 

(1) 车 £1 € £2, M Az, (A) € Az, (A); 

(2) (A) = {2 € C : Omin(zI — A) < €}; 

(3) (A) = (ze C2 € MATE), E ABA ||E|l < e H4}. 
描绘 一 非 正规 矩阵 4 的 伪 谱 能 反映 出 该 矩阵 的 内 在 表现 . 这 里 ,“ 表 现 ” 可 以 指 求 
解 方程 组 Ar = b 的 和 迭代 法 的 数学 性 态 , 也 可 指 在 涉及 矩阵 A 的 模型 中 所 预测 的 
物理 现象 . 见 Higham and Trefethen(1993), Nachtigal, Reddy, and Trefethen(1992) 
及 Trefethen, Reddy, and Driscoll(1993). 

5 题 

11.8.1 ”证 明 : e(4+B)t = eAteBt 对 所 有 的 上 成 立 当 且 仅 当 AB = BA( 提 示 : 将 两 边 
展 成 t HRADE E t 的 系数 ). 

11.8.2 d A 是 反对 称 的 , 则 e^ 和 (1, 1)Padé 道 近 Rui (A) 都 是 正 交 的 , 还 有 其 他 的 


p,q 使 得 Rol A) EZG? 
11.3.3 ”证 明 ; 车 A 非 奇异 , 则 存在 矩阵 X 使 得 4 = eX , x 唯一 吗 ? 


_AT 
11.3.4 um. es (| ^ MD ML 
22 
n n 


FT Fi2 = [ e^t Pe^tdt. 
40 
11.3.5 24 A=uvT, u,v € R” 时 , 给 出 计算 e^ 的 算法 . 
11.3.6 ”假设 A ER” Hv cR”, lvl = 1, 定义 函数 $(t) = leAtv[|2/2, WH: 
b(t) < u(A)9 (t), 
其 中 (4) =A1((A + AT)/2). 由 此 可 得 结论 : 
|le4tlla < eA", £2 0. 
11.3.7 ”证 明 本 节 中 给 出 的 三 个 关于 伪 谱 的 性 质 . 
本 节 注 释 与 参考 文献 


本 节 中 出 现 的 大 部 分 内 容 以 及 大 量 的 参考 文献 可 见 : 


C. B. Moler and C. F. Van Loan(1978).“Nineteen Dubious Ways to Compute the Exponential 
of a Matrix,” SIAM Review 20, 801-836. 
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在 仔细 考查 的 19 个 方法 中 , 用 Pade am (A 11.3.1) 和 Darlett 的 Schur 
分 解 方法 (算法 11.1.1) 的 一 个 细致 实现 是 相对 可 靠 的 方法 . TRB Padé 逼近 的 各 个 
方面 可 参见 : 


W. Fair and Y. Luke(1970). “Padé Approximations to the Operator Exponential,” Numer. 
Math. 14, 379-382. 


C. F. Van Loan(1977). “On the Limitation and Application of Padé Approximation to the 
Matrix Exponential,” in Padé and Rational Approximation, ed. E. B. Saff and R.S.Varga 
Academic Press, New York. . 


R. C. Ward(1977). "Numerical Computation of the Matrix Exponential with Accuracy Es- 
timate," SIAM J. Num. Anal. 14, 600-614. 


A. Wragg(1973). "Computation of the Exponential of a Matrix I: Theoretical Considera- 
tions," J. inst. Math. Applic. 11, 369—375. 

A. Wragg(1975). *Computation of the Exponential of a Matrix II: Practical Considera- 
tions," J. Inst. Math. Applic. 15, 273-278. 
方程 (11.3.1) 在 标量 情况 下 的 证 明 可 见 ， 

R. S. Varga(1961). *On Higher-Order Stable Implicit Methods for Solving Parabolic Par-tial 
Differential Equations,” J. Math. Phys. 40, 220—231. 
在 控制 论 的 许多 应 用 中 , 要 计算 矩阵 指数 ， 例 如 , 在 线性 最 优 调节 问题 中 , 需要 各 种 各 样 

的 涉及 矩阵 指数 的 积分 , 见 : 

J. Johnson and C. L. Phillips(1971). “An Algorithm for the Computation of the Integral of 
the State Transition Matrix," IEEE Trans. Auto, Cont.AC-16, 204-205. 

C. F. Van Loan(1978). “Computing Integrals Involving the Matrix Exponential,” IEEE 
Trans. Auto. Cont.AC-23, 395—404. 
在 评估 计算 矩阵 指数 的 算法 的 表现 时 ， 理 解 映 射 4 一 exp( At) 的 敏感 性 是 很 有 帮助 的 . 

这 方面 的 著作 包括 : | 

B. Kagstrém(1977). “Bounds and Perturbation Bounds for the Matrix Exponential, ” BITAT, 
39-57. 

C. F. Van Loan(1977). “The Sensitivity of the Matrix Exponential,” SIAM J. Num. Anal. 
14, 971—981. 

R. Mathias(1992). “Evaluating the Frechet Derivative of the Matrix Exponential,” Numer. 
Math. 63, 213-226. 
矩阵 对 数 的 计算 是 一 个 重要 的 领域 , 它 需 要 更 多 的 研究 . 这 些 计 算出 现在 各 种 各 样 的 系统 

识别 问题 中 . 见 : 

B. Singer and S. Spilerman(1976). “The Representation of Social Processes by Markov Mod- 
els,” Amer. J. Sociology 82, 1-54. 

B. W. Helton(1968). “Logarithms of Matrices ,” Proc. Amer. Math. Soc. 19, 733-736. 
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关于 伪 谱 , 我 们 建议 参阅 : 


L. N. Trefethen(1992). “Pseudospecta of Matrices," in Numerical Analysis 1% 1 |). F. Grif- 
fiths and G. A. Watson(eds), Longman Scientific and Technical, Harlow , Essex, UK, 
234-262. 


D. J. Higham and L. N. Trefethen(1993). “Stiffness of ODES,” BIT 33, 285—303. 


L. N. Trefethen, A. E. Trefethen, S. C. Reddy, and T. A. Driscoll(1993). “Hydrodynamic 
Stability Without Eigenvalues,” Science 261, 578-584. 


以 及 Chaitin-Chatelin and Frayssé(1996, 第 10 #). 


第 12 章 特殊 问题 


本 章 我 们 讨论 几 类 反映 奇异 值 、QR. 分 解 和 Schur 分 解 重要 应 用 的 问题 . 首先 
考虑 带 约束 的 最 小 二 乘 极 小 化 问题 . 12.1 节 阐述 了 两 类 约束 : 二 次 不 等 式 和 线性 等 
X. 紧 接 着 的 两 节 讨论 标准 最 小 二 乘 问题 的 变化 形式 . 在 12.2 节 中 , 我 们 讨论 了 怎 
- 样 用 矩阵 A 的 某 些 列 来 逼近 观察 向 量 b, 当 A 秩 亏 时 , 这 是 经 常用 到 的 . 在 12.3 
节 中 , 我 们 考虑 了 被 称 为 整体 最 小 二 乘 的 一 般 回归 问题 的 变化 形式 , CE A 有 误 
差 时 是 很 有 用 的 . 有 关 奇 异 值 分 解 更 多 的 应 用 在 12.4 节 讨 论 , 其 中 考虑 了 几 类 子 
空间 的 计算 问题 . 12.5 WHT SE A 有 低 秩 扰动 时 , 怎样 更 新 它 的 正 交 分 解 . 
基本 特征 问题 的 某 些 变化 形式 将 在 12.6 节 中 讨论 . 


预备 知识 
本 章 是 综述 性 的 , 所 以 没有 给 出 所 需 知 识 的 章节 范围 . 而 是 在 每 节 的 开头 都 会 
提 一 下 本 书 前 面相 关 的 内 容 , 且 如 果 合 适 的 话 , 会 提 到 LAPACK 或 其 他 专著 . 


12.1 约束 最 小 二 乘 问题 


在 最 小 二 乘 中 , 有 时 很 自然 地 要 在 R 的 某 子 集 上 极 小 化 |As- bl. 例如 , 我 
们 希望 在 单位 球面 zl = 1 上 用 Ar 来 最 佳 预测 向 量 b. 或 者 需要 求 出 一 个 拟 合 
函数 使 其 在 有 限 个 点 上 取 给 定 的 值 . 这 就 导致 了 等 式 约束 的 最 小 二 乘 问题 , 本 节 讨 
论 怎 样 用 QR 分解 和 奇异 值 分 解 来 解决 这 些 问题 . 

阅读 本 节 需 要 第 5 章 及 8.7 节 的 知识 . 相应 的 LAPACK 软件 有 : 

LAPACK: 解 广义 /约束 最 小 二 乘 问题 

解 等 式 约束 的 LS 问题 
计算 矩阵 对 的 广义 QR 分 解 
计算 矩阵 对 的 广义 RQ 分 解 
把 广义 奇异 值 分 解 问题 转化 为 三 角形 形式 
计算 一 对 三 角形 矩阵 的 广义 奇异 值 分 解 


—GGQRF 
— GGRQF 
. GGSVP 


补充 参考 文献 包括 Lawson and Hanson(1974) 以 及 Bjórck(1996). 
12.1.1 二 次 不 等 式 约束 最 小 二 乘 

带 二 次 不 等 式 约束 的 最 小 二 乘 的 极 小 化 , 简称 LSQ 问题 , 是 一 种 当 一 般 的 LS 
问题 之 解 需要 规范 化 时 可 用 到 的 技术 . 在 对 有 噪声 的 数据 进行 插值 时 , 会 出 现下 面 
简单 的 LSQI 问题 : 


12.1 约束 最 小 二 乘 问题 519 


min || Aa — >, 在 约束 Ballo <a F, 


(12.1.1) 


其 中 A cR”, bER™, BER™ GEAR) Ha > 0. 约束 条 件 定义 了 R 中 的 
一 超 椭 球体 , 它 用 来 阻尼 拟 合 函数 中 过 分 的 振荡 . 例如 , 当 B 是 离散 的 二 阶 求 导 算 


子 就 可 以 做 到 这 一 点 . 
更 一 般 地 , 我 们 会 遇 到 如 下 问题 


min || Aw — b|;, 在 约束 ||Ba — dlje <a F, 


(12.1.2) 


其 中 Ac R™*"(m > n), b e R”, B e RP”, deR 以 及 a > 0, 8.73 节 中 的 广义 


奇异 值 分 解 为 解 (12.1.2) 提供 了 思路 . 事实 上 , 若 
UTAX = diag(alaa ,an)，DTIU =In, 


VTBX = diag(Bi, Po, ,Ba), VTV =Ip, q = min(p,n) 
是 A4 和 B 的 广义 奇异 值 分 解 , 则 (12.1.2) 变 为 


min ||Day — b|l2, ZAK |Day 一 dl2< a F, 
Heh b-UTb,d =V'dy=X a. 简单 形式 的 目标 函数 


n m 
Day — bl — > (aim -b)+ SOB 
i=1 i=n+1 
以 及 约束 方程 
r P 
~ ~ ~2 
IDay - did — Y (By di?+ 》 d; «o? 


t=1 i=r+1 


方便 了 LSQI 问题 的 分 析 . 这 里 > =rank(B), 且 假 定 Bri =… = By = 0. 


首先 , 原 问题 有 解 当 且 仅 当 


如 果 在 表达 式 中 等 号 成 立 , 由 (12.1.4) 和 (12.1.5) 知 向 量 y: 
di/Bi, t= 1:7, 
Yi = bi /oi, i—r41l:n, a; 0, 
0, i=r+1:n, a, =0, 
是 原 LSQI 问题 的 解 . 否则 p 


i=r+1 
我 们 有 更 多 的 选择 . R* 中 的 向 量 y: 
„=d bi/ai, 04 #0, 


~ i—l:n 
di/Bi, o4 =0, 


(12.1.3) 


(12.1.4) 


(12.1.5) 


(12.1.6) 


(12.1.7) 
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是 ||Day bj 的 极 小 点 . 如 果 此 向 量 也 是 可 行 的 , 则 得 到 (12.1.2) 的 一 个 解 (A 
而 , 这 并 不 一 定 是 极 小 2 WA). 因此 , 我 们 假设 
D (a3 - i.) + > d?» o. (12.1.8) 
i=1 t i=q+1 
这 意味 着 LSQI 问题 的 解 出 现在 可 行 域 的 边界 上 . 因此 , 剩 下 的 问题 是 
min Day — b|;, LAUR ||Dy — d |2 = o F. 
现 用 Lagrange 乘 子 法 求解 这 一 问题 . 定义 函数 
h(à, y) = ||Day — b+ AUD By ~ d |2 — 0°), 
H 0 = 0h/dy,i=1:n, 得 方程 组 
(DIDa +ADBDa)y = DAb + ADBd. 
假设 系数 矩阵 非 奇 异 ， 则 得 解 VO): 


ab; + Abid i . 
Ai, i=1:g, 
-| CEU ME 


b;/o;, i=q+l1:n. 
为 了 确定 Lagrange 参数 , 定义 函数 


- 2 
~ ibi — oud i a. -» 
ID= IDa - dd - c (Ae «Yd, 


i=1 j=r4+1 

则 由 方程 WA) = o? MÆ A. 这 一 类 型 的 方程 称 为 特征 (secular) 方程 , 它 在 8.5.3 
节 中 出 现 过 . 从 (12.1.8) TTAN, 9(0) > a. 34 和 > 0 时 , $0) 是 单调 减 的 , 因此 存在 
唯一 的 正 数 X* 使 得 pO") = o2, 易 证 这 就 是 所 要 的 根 . 它 可 以 用 任何 一 种 标准 的 
求 根 方法 来 求 , 例如 Newton 法 . 原 LSQI 问题 的 解 为 z = Xy). 
12.1.2 球 上 的 LS 极 小 化 

WER (B = In d = 0) 上 的 极 小 化 的 重要 情形 , 我 们 有 下 列 算法 . 

算法 12.1.1 BEM A c RRmxn,m > nb € R",o > 0, 本 算法 计算 一 向 量 
x c R^, 使 得 Az — b|| 极 小 且 满 足 约束 上 zjl2 < a. 

计算 奇异 值 分 解 4 二 USVI, 存储 矩阵 V = [v1,… ,vn] 并 生成 向 量 b = 
UTb. 

r—rank(A) 


T b; 2 
if» (=) >a? 
i=1 2 


求 入 使 得 D>( 


i=1 


cibi 
of + A* 


2 
) =o. 
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else 


end 


在 此 算法 中 , 主要 的 计算 是 奇异 值 分 解 . 
例 12.1.1 LSQI 问题 


的 特征 方程 为 
8 yv 2 y 
CC- 
对 这 个 问题 , 解 为 X* = 4.571 32 55 a = (0.933 4, 0.358 98). 
12.1.8 i$e 
算法 12.1.1 所 求解 的 问题 等 价 于 Lagrange RT AG: 确定 和 > 0 使 得 
(ATA -- AI)z = ATb, (12.1.9) 
E |æ]: = o. 这 正好 是 岭 回 归 问 题 
= min [Az — bll2 + Al|zll2 


(allel, 


的 正规 方程 . 在 一 般 的 岭 回归 问题 中 , 用 某 种 准则 来 选取 岭 参 数 A, 例如 : 对 某 个 给 
定 的 a, lell = o. 我 们 介绍 一 下 Golub, Heath, and Wahba (1979) 的 一 个 选取 
A 的 算法 . 

4 Dr =I -eef = diag(1,--- ,1,0,1,---,1) e R™x™, 设 ap (A) A 


2 


min 
r 


min || D(A% — 5)/2 + Mizll (12.1.10) 


的 解 . 因此 , zp( 和 ) 是 去 掉 矩 阵 4 的 第 行 和 向 量 b 的 第 k 个 分 量 的 岭 回 归 问 题 
的 解 , 即 忽略 了 第 k 次 实验 . 现 考 虑 选择 AQ 使 得 交叉 确认 加 权 平 方 误 差 CA) 达到 
极 小 , 其 中 


CQ) = = Dwr(aF es(N) ~ be)’, 
k=1 


这 里 wi,… ,aom 是非 负 的 加 权 数 , of 是 A BOSS k fr. 注意 到 
Axi(N) — bl2 = | D(Azrx(N) — 5)l2 + (ego) — by)’, 


522 第 12 章 特殊 问题 


我 们 可 以 看 出 , 当 A 的 第 有 行 又 重新 考虑 时 , 在 原平 方 和 中 增加 了 (ada (2) bx)? 
一 项 . 极 小 化 CA 相当 于 选取 和 , 使 得 最 终 的 模型 不 过 分 依赖 于 任何 一 次 实验 . 
为 了 使 上 面 的 叙述 更 加 精确 ， 我们 对 它 进行 严格 的 分 析 ， 并 给 出 一 个 极 小 化 
C(A) 的 方法 . 假设 和 > 0, MM 
Te Iz(A)- 
a. 


x,(A) = 2(A) + ‘ths (12.1.11) 


其 中 zk = (ATA + AT) !ak,z(X) = P" AI)-ATb, 在 (12.1.11) 的 两 边 左 乘 

-af 并 都 加 上 br, 则 得 到 

el(I- A(ATA 4 AI) 1 AT)b 

e (1 - A(AT A - AI) 3 Ale 
注意 到 残 差 + = (ri ,rn = b- 4z(A) BA X r = [I - A(ATA + 

AD)AT|b 给 出 , 可知 


bx — ap zk(A) = (12.1.12) 


1x Tk 2 
CO Tm 2h (iz) 
商 ru / (Ori Ob.) 可 以 看 成 是 第 次 观测 值 bx 对 模型 影响 的 反 度 量 . 当 Or / Obs 很 
小 时 , 这 表明 模型 预测 be 的 误差 有 点 与 bx 无 关 . 选取 参数 和 * 使 得 C(A) 达到 极 小 
就 是 为 了 减 小 这 种 趋势 . 
计算 4 的 奇异 值 分 解 后 ，* 的 确定 变 得 非常 简单 ， 事实 上 , 若 UTAV= 
diag (ci ,0n),01 >+ È on, b = UTb, 则 由 (12.1.12) 可 证 


2 
m b, — Y ub; (ah 4) 
CON = 二 二 》 on ”二 NY . 
s 1 Day (55) 
Golub, Heath, and Wahba(1979) 讨论 了 这 个 表达 式 的 极 小 化 问题 
12.1.4 ”等 式 约束 的 最 小 二 乘 
在 本 节 的 最 后 , 我 们 考虑 约束 条 件 为 线性 等 式 的 最 小 二 乘 问题 : 
. min Az 一 bll2, 在 约束 Be =d F, (12.1.13) 
这 里 A c R"*^, B c R?*^,5 e R™, deR H rank(B) = p. 我 们 把 (12.1.13) 称 
为 LSE 问题 . 在 (12.1.2) 中 令 o = 0, 即 得 上 面 的 问题 (11.1.13). 可 见 LSE 问题 是 
LSQI 问题 的 一 个 特例 . 然而 , 直接 求解 LSE 问题 比 Lagrange 乘 子 法 更 为 简单 . 
为 简单 起 见 , 假设 4 和 B 都 是 满 秩 的 . 设 


TpT _ R| p 
QB - |， 
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AB 的 QR 分 解 , 且 作 划分 : 


AQ =14，431， Qz - |*] P . 
z.n-—p 
p n-p 


很 明显 , 在 这 些 变换 下 , 问题 (12.1.13) BH 


i A Azz — bilo. 
Qin |l 1y + Agz — bl|2 


因此 , y 可 从 约束 方程 Ry = d 解 出 , 向 量 z 可 以 通过 求解 下 面 的 无 约束 LS 问题 
得 出 : 

min || Age — (b — Aiy)ll. 
综 上 所 述 , 向 量 = = Q | | 为 问题 12.113) 的 解 


算法 12.1.2 iL A € R?*", Be R?*^, b c R",d € R?. de X rank(A) =n 
A rank(B) =p, 则 本 算法 在 约束 条 件 Bz = 已 下 极 小 化 Az — bl. 
BT = QR (QR 分 解 ) 
解 方程 Rü:pi:py-d Bal y. 
A — AQ 
KZ 4&4 AC. p 1:n)z — (6— AC, 1: p)y)llo 极 小 
z-—Q(,l:py-ct-Q(,p-1:n) 
注意 , 这 一 算法 用 到 了 两 次 矩阵 的 分 解 和 一 次 矩阵 乘法 . 
12.1.5 ”加权 法 


一 种 求 问题 (12.1.13) 近似 解 的 有 趣 方法 是 对 充分 大 的 和 解 无 约束 LS 问题 
ABJ^ ll 
hala- ba] 
8.7.3 节 中 的 广义 奇异 值 分 解 (GSVD) 可 用 来 分 析 副 近 的 效果 . 令 
UTAX = diag(01,05,::: ,Qn) = DA € R?*^, 
VTBX = diag(f, £2, --- , Bp) = Dg € R?** 


X (A, B) 的 GSVD. 为 明确 起 见 , BR RIN. Æ U = [wi, ww2,… Sun], 
V = [viv] X = [z1,… an], 则 易 证 


P „T n T 
vid u; b 
r= J 所 Ti 十 1 o; Zi, (12.1.15) 

i=p+1 


(12.1.14) 


min 
T 


i=1 


这 正好 是 (12.1.13) 的 解 , 而 


p T 2824 n T 
ou; b+ A" 87v; d u; b 
i=1 t t i 


是 (12.1.14) 的 解 . 由 
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P Qi\ Di Ib — Qi Td 
z(A)-z- Y EG n (12.1.17) 
#024 入 一 oo 时 (A) > x. 
这 种 解 LSE 问题 的 好 处 是 它 不 需要 特殊 的 子 程序 : 一 般 的 LS 求解 算法 即 可 . 
然而 , 当 的 值 很 大 时 , 会 遇 到 数值 上 的 困难 , 故 有 必要 采用 预防 措施 , 见 Powell 
and Reid(1968) 以 及 Van Loan(1982a). 


例 12.1.2 ”问题 
1 2 7 
3 4 Ë E 1 
5 6 72 3 |l, 


的 解 为 = [0.340 782 1,0.340 782 1]7. 近似 地 可 求解 问题 


1 2 7 

min 3 4 | Tı | _ 1 
5 6 Z2 3 , 

1000 —1000 0 


2 
其 解 为 2 = [0.340 781 0, 0.340 782 9]T. 


5] 题 


12.1. (a) WEBB: 3E null(A)nnull(B) # (0), 则 (12.1.2) 不 可 能 有 唯一 解 . (b) 给 出 一 
例子 , 说 明 反 过 来 是 不 对 的 (提示 : Atb 可 行 ). 
12.1.2 X po{x),pi(7z),… ,pn(z) 是 已 知 的 多 项 式 , (xo, y0), (2m, Ym) 是 一 列 已 知 


的 坐标 对 ，zi € [a, b]. 我 们 希望 找 出 一 多 项 式 p(x) = oakpk(Z) 使 得 Yom e(p(zi) — yi)? 
在 下 列 约束 下 达到 极 小 : 
N 2 
[oops ~ n>, (Pe =G tee ) <è, 
其 中 2, =at ih b 二 a 十 Nh 证明: 这 导致 形 如 (12.1.1) 的 LSQI 问题 
12.1.3 BY = [yi ,yk] € Rmxk 满足 


YTY =diag(d?,--- d), di >d2>- > dk>0. 


证 明 : d$ Y =QRAY 的 QR 分 解 , 则 R ERABE |ra| = di. 

12.1.4 (a) 证 明 : 4$ (ATA+AD)@ = ATb,A > 0, |[zl]2 = o, JI z = (Ae —b)/A EXTR 
FE (AAT +ADz = —b, | ATz|a = o 的 解 . (b) 证 明 : 若 (AAT c AT)z = —b, AT zl =a, 
RW 2 = —ATz 满足 (ATA++ ANS = ATb,|[z||» = a. 

12.1.5 ”假设 4 是 元 素 均 为 1 m x 14ER, DER”, 证 明 : 用 单位 加 权 的 交叉 确认 技 
巧 给 出 了 最 优 值 和 X， 
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Soop BT = (b +--+ bm)/m, s = Y (bi — b)? /(m — 1). 


12.1.6 EAA (12.1.15), (12:1.16) 和 (12.1.17). 
12.1.7 ”给 出 算法 12.1.2 的 SVD 形式 , 使 之 能 处 理 秩 亏损 的 A 和 B. 


1218 #A= bal 其 中 A; c Rnxn 非 奇 异 ， Aa ROOM, 证 明 ; 


Omin(A) 之 V 1+ Omin(A2Aj ! 20min (A1). 
12.1.9 ”考虑 问题 


min ||Ar—bllz2, A €R”*””, b eR”, B,C eR” 
2T7E2292 

假设 BAC 是 正定 的 , 且 2 eR?” 为 非 奇异 和 矩阵， 满足 ZT BZ=diag(A1, A2,--- ,An), 

ZTCZ = Ti > +++ 2 An, (a) 证 明 : 除非 An < B2/Y? < Ao 的 可 行 集 是 空 的 . (b) 利用 

Z, 说明 如 何 把 两 个 约束 的 问题 转化 成 一 个 约束 的 问题 : 


min Az—b 
EN lz; 


其 中 W =diag(Ai,-- ee Ant. 
12.1.10 #p2 mèn, EAER”, BER™?, 说 明 如 何 计算 正 交 矩阵 Q € R77 
A V eR” 使 得 


QTA = o] , Q'BV = [0,S], 


其 中 R eR” ASeR™*” 都 是 上 三 角 和 矩阵 . 
12.1.11 #reR”,yeR", 6>0, ARMA PRA: 


pin, EY- ra. 
i El p xo 


把 “min” 换 成 “max”, 情况 又 如 何 ? 
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12.2 "JR SVD 选取 子 列 集 
正如 5.5 节 所 介绍 的 那样 , 秩 亏 的 LS 问题 min || Az — bl 的 求解 可 以 用 
T; 一 Y, uibs FST 


来 逼近 极 小 范 数 解 


其 中 - 
A-UZV! = > ouw] (12.2.1) 


i=1 
为 A 的 奇异 值 分 解 (SVD), & WR r 的 数值 上 的 估计 . 注意 , ne 极 小 化 || Ase — blo, 
其 中 


P 
Az = $ ai 


i=1 


AB 4 最 近 的 秩 为 7 的 矩阵 , 见 定理 2.5.3. 

在 LS 问题 中 用 4 代替 4 相当 于 忽略 了 小 的 奇异 值 , 当 4 是 从 噪声 数据 中 
导出 时 , 这 样 处 理 是 很 有 道理 的 . 然而 , 在 另外 的 应 用 中 , 秩 亏 意味 着 在 构成 基本 模 
型 的 因素 中 有 元 余部 分 . 在 这 种 情况 下 , 建 模 者 对 诸如 Apap 这 样 含 有 所 有 的 n 个 
因素 的 预报 可 能 不 感 兴趣 . 相反 , 可 能 需要 预报 量 Ay, 其 中 y 至 多 含有 7 MES 
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元 素 . 非 零 元 的 位 置 决 定 了 A 的 哪些 列 即 模型 中 的 哪些 因素 , 用 来 逼近 观察 向 量 
b. 如 何 挑 选 这 些 列 是 子 集 选取 问题 , 也 是 本 节 的 主题 . 
本 节 的 内 容 建立 在 2.6 节 和 第 5 章 的 基础 之 上 . 


12.2.1 列 选 主 的 QR 方法 


列 选 主 的 QR 算法 可 以 看 作 是 挑选 4 的 线性 无 关子 列 的 一 种 方法 , 然后 用 这 
些 子 列 来 预测 b. FRADE A cR" 用 算法 5.4.1 THREE Q 
和 排列 矩阵 Ir, 使 得 R= QAN 为 上 三 角形 矩阵 . 如 果 R(1 : F,1:7)z = 21 f), 
KH 6=Q7b, > 

之 
y= [o] i 

则 Ay & b 的 用 到 矩阵 ATI 的 前 # 列 的 一 个 近似 LS 预测 值 . 
12.2.2 利用 SVD 


虽然 列 选 主 的 QR 算法 是 处 理 秩 亏 问题 的 一 种 相当 可 靠 的 方法 , 但 正如 5.5 
节 所 讨论 的 那样 , 有 时 候 SVD 更 可 取 ， 因 此 , 我 们 介绍 一 下 Golub, Klema, and 
Stewart(1976) 提出 的 基于 SVD 的 子 列 集 选取 算法 , 整个 方法 如 下 : 

o 计算 SVD, A=USV", 并 利用 它 确定 秩 的 估计 示 

o LE HEB P, 使 得 矩阵 Bl < RmxF 的 列 充分 无 关 , 其 中 AP =(Bi By]. 

。 用 向 量 Ay 预测 b, XB y-P | ,z € R^ 极 小 化 [Biz — blja- 
第 二 步 是 关键 . 从 


min ||Biz — bl = || Ay — bll > min || Ax — bil 
ZER” xeER” 


可 知 置换 矩阵 P 应 该 选 得 使 余 量 (I - B1B+)b 尽 可 能 小 . 不 幸 的 是 , 这 样 的 求解 
算法 是 不 稳定 的 . 例如 , 2; 


1 1 0 1 
A= 1 1 十 < 1 ; b= —1 , 
0 0 i 0 


£—2,P =I, WH min|Biz — bl = 0, fH || Br'bllo = 0(1/e). 另 一 方面 , 任何 包含 
4 的 第 3 列 的 真子 列 集 都 是 线性 无 关 性 极 强 的 , 但 得 到 的 残 量 却 都 很 大 . 

这 个 例子 表明 在 所 选取 列 的 无 关 性 与 它们 所 得 到 的 残 量 的 范 数 之 闻 有 冲突 . 处 
理 这 种 冲突 需要 用 到 关于 B. 的 最 小 奇异 值 ox(B1) 界 的 范 数 的 数学 性 质 . 

定理 12.2.0 i 4ERmxn 的 SVD 由 (12.2.1) Æ, f <rank(A), ZX 


Bi € R™*?, 
AP=(Bi Bo], 


T n—f 


其 中 PER 为 一 置换 和 矩阵. 如果 
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py [1 Ve] on 
Va Vo |nr (12.2.2) 
T n—f 
EVn 4, nj 
er) < es(B1) < or(A). 
[Vi ll 


证 明 ”从 8.6.1 节 中 给 出 的 奇异 值 的 极 小 化 极 大 特征 可 知 上 界 估计 成 立 . 
为 了 得 到 下 界 , 划分 奇异 值 的 对 角 算 阵 : 


| B51 0 | 2 
0 pr m-—f 
P on-f 
如 果 w e R? 为 一 单位 向 量 且 |Biwls=o(B)5 则 
esci = Bwè = |vzv*p [S], 


= [£i iwl + Z2 wll. 
由 ‖ 马 六 naol > es(A)/IV3s llo 知 定理 成 立 . o 
这 个 结果 表明 , 为 了 得 到 一 充分 无 关 的 子 列 集 , 我 们 要 选择 置换 矩阵 P 使 得 
所 得 到 的 子 矩 阵 V1, 尽 可 能 良 态 . 一 个 直观 的 做 法 是 计算 矩阵 (VT, VI] 的 列 选 
主 QR 分 解 , 这 里 
ve | Vu Vaiz | f 
Ti 


Va Vz —f 
fT mn-—rf 
是 (12.2.1) 中 矩阵 V 的 一 分 块 形 式 . 特别 地 , 当 我 们 用 列 选 主 的 QR 算法 (算法 
5.4.1) 来 计算 
QTIV ValP=[Ru RB] 
T n—T 


时 , 从 (12.2.2) 可 知 
[ye Jaen | des | 
Va Va REQT |’ 

其 中 Q 为 正 交 矩阵 , P 为 置换 矩阵 ， Ru 为 上 三 角形 矩阵 . 注意 , Ru 是 非 奇 的 且 
Wis le = |R 直观 上 , 列 选 主 有 利于 得 到 一 个 良 态 的 Ru, 且 整 个 过 程 倾 向 
于 产生 一 良 态 的 Vu. 因此 , 我 们 有 下 列 算法 . 

算法 12.2.1 ABH A cR” fob e Rn, 本 算法 计算 出 一 置换 矩阵 P, 
Abi P oH zc R^, RRM B= AP HEP 列 无 关 且 |B(:,1:7)z — blo 
达到 极 小 . 
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计算 SVD: UTAV=diag(o1,… ,on) HAV. 

8x PT <rank(A) 

用 列 选 主 的 QR 分 解 计算 QTV, 1: ATP —[R; Rio] #4 
=(B, B;,B;cR"**,B; e R"x(-79 


R z €R” 使 得 上 0 一 Bizll2 = min 


例 12.2.1 
3 4 1.0001 1 
7 4 —3. 
Az 3.0002 TE 
2 5 2.9999 1 
—1 4 5.0003 1 


从 ca (A) =~ 0.0001 的 意义 上 讲 , A 接近 于 秩 2. 在 算法 1221 PHF —2, 得 解 c= 
[0 0.2360 一 0.008 5]T, RŽ ||Az — b||; = 0.196 6, 置换 矩阵 为 P —les ez ei] 
注意 zrs = [828.105 6 — 827.8569 828.053 6]T, 相应 的 残 差 为 |4zrs — bilo = 
0.034 3. 


12.2.3 ” 列 无 关 与 残 差 的 进一步 讨论 


我 们 回 过 来 讨论 列 的 无 关 性 与 残 差 范 数 之 间 的 冲突 问题 . 特别 地 , 为 了 评价 上 
述 子 列 集 选取 的 方法 , 我 们 观察 一 下 向 量 y WR ry = b- Ay = b - Biz = 
(I- B, By)b. 这 里 Bı = B(,1:7), B = AP. AK, 比较 ry 与 rw = b — Ar; 是 
合适 的 , 因为 4 已 看 成 秩 了 ABER, 而 oe 为 最 近 的 秩 * LS 问题 min || Aza 一 bllz 之 
解 . 

定理 12.2.2 JdeX ry bre, WERL Vn 是 PTV 的 关 xF MPEP, 
则 


o741(A) 
Irae — ryle < TEES NV lb 


证 明 $Ë ra, = (I — VQUT)b 5 ry = (I 一 Qi1Q1)b, 其 中 
U=(U, Us] 


7 m-f 
是 (12.2.1) PEE U 的 一 种 分 块 形式 , Q1 = Bi(BTBi) 5. 应 用 定理 2.6.1, 有 
ræ; — rylla < UUT — QiQT lbs = IU? Q1ll2llbll2- 
再 由 定理 12.2.1 知 
IUZQlls < IU? Billell(BYB1) "lla < es (A) — = 


ost1(A) 
o7(A) 


Bj 


~ —1 
Was ll- Li 


< 
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由 lire. — rylla = Biy 一 DZ (uP b)ui|]o, 我 们 可 以 看 出 定理 12.2.2 给 出 了 
Biy 预测 向 量 b 的 “稳定 ”分 量 ( 即 UTD) 的 精确 程度 . Ea UTb 的 办 法 都 
会 给 出 范 数 很 大 的 解 . 此 外 , 定理 也 说 明 , E cr+i(4) « o7(A), 则 任何 合理 的 无 关 
子 列 集 实 质 上 都 会 产生 差不多 大 小 的 残 量 . 另 一 方面 , 如 果 奇 异 值 之 间 没 有 明显 的 
差距 , 则 确定 7 的 值 变 得 比较 困难 , 因而 整个 子 列 集 的 选取 更 加 复杂 . 


习 题 


12.2.1 BA A c R"*^,|uT A|; = o,uTu = 1 证 明 : # uT(As — b) = 0, WHE 
x € R”,b € R”, 则 zlla > |uTb|/c. 

12.2.2 ”证 明 ; 4 Bi ce R"** 由 AE R"*^ W k WAM, M o (B1) < ex(A). 

12.2.8 ZEAE (12.23) rb, 我 们 知道 矩阵 


是 正 交 的 ， 因此 ， 从 CS 分 解 (定理 2.63) 知 Ýn |o = [Woo llo. 试 说 明 如 何 通过 对 
[VL VL] 用 列 选 主 的 QR 算法 来 计算 矩阵 P. QU Po» n/2, 此 方法 比 书 中 讨论 的 方法 
更 经 济 ). 将 此 观察 用 于 算法 12.2.1. 


本 节 注 释 与 参考 文献 


本 节 的 材料 选 自 : 

G. H. Golub, V. Klema and G. W. Stewart(1976). “Rank Degeneracy and Least Squares 
Problems,” Technical Report TR-456, Department of Computer Science, University of 
Maryland, College Park, MD. 
基于 12.3 节 中 的 整体 最 小 二 乘 插值 技术 的 一 个 子 列 选取 方法 由 下 文 给 出 : 

S. Van Huffel and J. Vandewalle(1987). “Subset Selection Using the Total Least Squares 
Approach in Collinearity Problems with Errors in the Variables,” Lin, Alg. and Its 
Applic. 88/89, 695—714. 
关于 子 列 集 选 取 的 文献 浩如烟海 , 我 们 向 读者 推荐 : 

H. Hotelling(1957). “The Relations of the Newer Multivariate Statistical Methods to Factor 
Analysis,” Brit. J. Stat. Psych. 10, 69-79. 
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极 小 化 问题 min || D( Ax — b)l;, 其 中 A e R?*^, D = diag(di,… ,dm) 非 奇 ， 


可 重新 整理 为 : 


i D reR™. 12.3.1 
Sin, Prle 7 (12.3.1) 
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在 此 问题 中 , 隐 含 地 假定 只 是 观察 向 量 b 有 误差 . 4 “数据 "4 也 有 误差 时 , 则 更 自 
然 地 考虑 如 下 问题 : 


i DE r|T|e, EcR"*" R” 12.3. 
perc, PE ifr, Ec , TERT, (12.3.2) 


其 中 D = diag(di,d»,--. ,dm) AI T = diag(ti,ta,--- ,tn41) 都 非 奇 异 . Golub and 
Van Loan(1980) 讨论 了 这 类 问题 , KRA RR — HK (TLS) 问题 . 
若 能 找到 (12.3.2) 的 一 个 极 小 点 [Eo ro], 则 任何 满足 (4 十 Eo)z = b+ ro 的 
x 都 称 为 TLS 解 . 然而 , 应 该 认识 到 (12.3.2) 可 能 根本 无 解 . 例如 , € 
0 e 


1 0 
A-|0 0 
0 0 0 e 


则 对 任何 & > 0,b € ran(A+ E-). 但 是 对 b+r € ran(A +E), [E lle 无 最 小 值 . 
我 们 可 以 把 (12.3.2) 推广 到 有 多 个 右 端 项 的 情形 . 特别 地 , 对 B eR, 我 们 
得 到 问题 


1 
1 
1 


0 0 


’ b= , D = Í}, T = Í}, E: = 


min IDLE R]T||F, (12.3.3) 
ran( B-- R)Cran(.A--E) 


其 中 , E c 了 mxn R c R?**, HERE D = diag(di,--- ,dm) 8T = diag(ts,--- , tr+k) 
非 奇异 . 若 [Eo Ro] 是 问题 (12.3.3) 的 解 , 则 任何 满足 (A + Eo) X = (B+ Ro) 
的 解 X cmR^** 都 称 为 (12.3.3) 的 TLS 解 . 

本 节 讨 论 TLS 问题 的 一 些 数学 性 质 , 并 证 明 可 用 SVD 来 求解 . 它 需 要 第 5 3€ 
作 预 备 知识 . Van Huffel and Vanderwalle(1991) 的 专著 对 TLS 作 了 详细 的 讨论 . 
12.3.1 ”数学 基础 


下 面 的 定理 给 出 了 多 右 端 向 量 的 TLS 解 的 存在 性 和 唯一 条 件 : 
定理 12.3.1 设 A, B,D 和 正如 上 所 述 , 且 假 定 m 之 n 十 k, 作 划分 


C=DIA B]T-|Ci C3], 
n k 


它 的 SVD 形式 为 : UTCV = diag(01,… 0944) = E, 其 中 


U = [Ui U2] V= Vu Vie n E- »n 0 n 
n k o’ Va V22 |k 
n k 


如 果 On(C1) > Onti(C), 则 由 
DIEo RoT = -UB2lVi Vəl (12.3.4) 


A L8 4E TE [Eo, Ro] 为 (12.3.3) 的 解 . = T = diag(t1, ttt stn) T2 = diag(tn+1, Uta 
ta4k); R] 4E H- 
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Xtis = -Ti1V iV T3) 

FERAJ (A+ Eo)X = B+ Ro 的 唯一 解 . 

证 明 ”我 们 先 从 假设 on (C1) > oni (C) 得 出 两 个 结果 . 由 方程 CV = UE 
知 CiVie + C2V22 = U2 Eo. 我 们 希望 证 明 Vo 是 非 奇 的 .假设 存在 单位 2 Y 
数 r 使 得 Voor = 0. 从 VLViz- VLVo-—I A Vizzlla —1. 但 是 e441(C) > 
lUa Xaxl|a = lIC1Vizzlla > on(C1), 这 与 假设 矛盾 . 因此 子 和 矩阵 V22 非 奇异 . 

从 on(C1) > on (C) 可 得 出 的 另外 一 个 事实 是 关于 on(C) 与 cn+l(C) 的 严 
格 分 离 . 由 推论 8.3.3 知 anlO) > on(C1), 因而 on(C) > on(C1) > onyi(C). 

现在 我 们 来 证 明定 理 ， 如果 ran(B + R) C ran(A + E), 则 存在 X c R"** 使 
43 (A+ E)X =B+R, Bl 

(DIA. BIT+DIE R|T)T^ Lx =0. (12.3.5) 

因此 在 大 括号 内 的 矩阵 之 秩 不 超过 n. 从 定理 2.5.3 的 讨论 中 可 证 


nk 
lDIE R]Tlr > $, eC, 
i=n+1 


H:ij(g R|-[Eo Rol 时 可 达到 下 界 . 不 等 式 cu(C) > on (C) 保证 了 [Eo Rol 
是 唯一 的 极 小 点 . EE 


(DIA BIT+D[IEo RjT) -UiXiVA VA 


的 等 空间 是 [ye] 的 象 空间 . 因此 , 从 (12.3.5) 可 知 , REA k x k ABE S, 有 


— X Vie 
T = S. 
Ls. vi 
从 方程 TX -ViuiSH -T; -VaS 可 看 出 S= -VaT 因此 必 有 


X -2TiViaS = -Tı V2 Va Tj! = XrLs. D 

如 果 on(C) = on (C), 则 TLS 问题 仍 可 能 有 解 ， 虽 然 不 一 定 是 唯一 的 . 在 这 
种 情况 下 , 希望 找到 它们 当中 的 “ 极 小 范 数 ” 解 . 为 此 , 在 空间 R 上 定义 范 
He: Zl- = ITI Z Talla. 如 果 X 由 (12.3.5) 给 出 , 则 从 CS 分 解 (定理 2.6.3) 可 知 

XI? = |V 2V zz ld = (1 — ex (V22))/ox (V 22)". 

这 表明 在 定理 12.3.1 中 应 选取 V 使 得 ok(V22) 达到 极 大 . 
12.3.2 k=1 时 的 计算 

现 介绍 一 下 当 = 1 这 一 重要 情形 时 如 何 使 V2 极 大 . 假定 矩阵 C 的 奇异 值 
满足 On—p > On-p+l = 7^ = Ontl: 对 V 作 列 划分 : V= [vi V2 ct, Vn+1): 车 
Q 为 Householder 矩阵 , 使 得 
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W zx n 
V(;,n-1-p:n41)Q-— 0 all 
p 1 


则 在 空间 span{vn+1-p,… ,vn+1} 的 所 有 向 量 中 ，| “| 的 第 ”+ 1 个 分 量 最 大 . E 


a=0, 则 TLS 问题 无 解 . 否则 ， XTLS = —Ty12z/(tn41@). 此 外 ， 


in 0 [oroa smv | In, 0 | =, 
0 QR 0 


DIEo rT =-DIA bz 人 |] ez al. 
综 上 所 述 , 有 下 面 的 算法 . 
算法 12.3.1 SERE A c Rm*?(m > n),b E R” RAF HEM D = 
diag(di,do,---,dm), T = diag(ti tz, ,tn+1)， 本 算法 计算 出 (如果 有 ) 一 向 量 
ZTLS € R” 4&5 (A+ Ex =b+7r9 .R. || D[Eo ro]T | e 3L. 
计算 SVD: UT(D[A b|T)V = diag(ot…… ,0n+1) 并 存储 下. 
Bu p WA 2'e 208 p an_p+l 一 … 一 On+l， 
找 出 Householder 44% P, 使 得 若 V = V P, i 
Vin+1,n—-p+i:n)=0 
if $411,541 #0 
fori—1:n 
Ti = —tiðin+1/(tn+1Ŭn+1,n+1) 
end 
end 
此 算法 需要 大 约 2mn? + 12n3 个 flop, 主要 花费 在 SVD 的 计算 上 . 
例 12.3.1 TLS 问题 m o lle; r]lz, 其 中 a = [1,2, 3, 4]7, b = [2.01, 3.99, 
5.80,8.30]7, MA zrLs = 2.0212, e= [-0.0045, —0.0209, 0.1048, 0.0855]T, r = (0.0022, 
0.0103, 0.0519, —0.0423]T. 注意 , 对 这 组 数据 , LS MA xLs = 2.0197. 


12.3.3 ”几何 解释 
可 以 证 明 , TLS 问题 的 解 zrLs 使 得 


lata 一 bil? 


m 
2) =)? 
VG) + t TTI E + tpe 


达到 极 小 , 这 里 aT 为 4 的 第 i 行 , b; 是 5 的 第 i DOR. 从 这 里 可 看 出 TLS A 
题 的 几何 意义 . 事实 上 , 数 

lala — b? 
aTT E + tapi 
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是 向 量 H < Rn+1 到 子 空间 


P= {| | :aER",beR,b= aa] 


中 最 近 的 点 的 距离 之 平方 . 用 到 的 范 数 是 |Z] = Tz] 这 方面 有 大 量 的 文章 , 见 
Pearson(1901) 和 Madansky(1959). 


J HB 


12.3.1 ”考虑 TLS 问题 (12.3.2), 矩阵 D 和 T 非 奇异 . (a) 证 明 : 3$ rank(A) < n, 
则 (12.3.2) 有 解 当 且 仅 当 b €ran(A). (b) 证 明 : 车 rank(4) = n, WE 4ID2b = 0 H 
ltn41|||Db|l2 > on(DAT1) 时 (12.3.2) 无 解 , 这 里 Ti=diag(t,--- , tn). 

12.3.2 WH: #C=D[A b|T—[A: d| H.e«(C) > on4i(C), WU TLS # z 满足 
(ATA; — eaa(C)IDz = Ald. 

12.3.3 “说明 在 极 小 值 矩阵 E 的 前 p 列 为 零 的 附加 约束 下 如 何 解 (12.3.2). 


本 节 注 释 与 参考 文献 


本 节 内 容 建立 在 下 列 文献 的 基础 上 : 

G. H. Golub and C. F. Van Loan (1980). “An Analysis of the Total Least Squares Problem,” 
SIAM J. Num. Anal. 17, 883-893. 
基于 SVD 的 TLS 问题 由 下 文 提出 : 

G. H. Golub and C. Reinsch (1970). “Singular Value Decomposition and Least Squares 
Solutions,” Numer. Math. 14, 403-420. 

G. H. Golub (1973). “Some Modified Matrix Eigenvalue Problems,” SIAM Review 15, 318- 
334. 
关于 TLS 问题 最 详细 的 研究 见 : 

S. Van Huffel and J. Vandewalle (1991). The Total Least Squares Problem: Computational 
Aspects and Analysis, SIAM Publications, Philadelphia. 
若 已 知 4 的 某 些 列 是 精确 的 , 则 在 TLS 扰动 矩阵 E 中 要 求 这 些 列 为 0 是 合理 的 . AT 

这 种 约束 的 TLS 问题 的 讨论 可 见 ; 

J. W. Demmel (1987). “The Smallest Perturbation of a Submatrix which Lowers the Rank 
and Constrained Total Least Squares Problems,” SIAM J. Numer. Anal. 24, 199-206. 

S. Van Huffel and J. Vandewalle (1988). “The Partial Total Least Squares Algorithm,” J. 
Comp. and App. Math. 21, 333-342. 

S. Van Huffel and J. Vandewalle (1988).“Analysis and Solution of the Nongeneric Total Least 
Squares Problem,” SIAM J. Matriz Anal. Appl. 9, 360-372. 

S. Van Huffel and J. Vandewalle (1989). “Analysis and Properties of the Generalized Total 
Least Squares Problem AX ~ B When Some or All Columns in A are Subject to Error,” 
SIAM J. Matriz Anal. Appl. 10, 294-315. 
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S. Van Huffel and H. Zha (1991). “The Restricted Total Least Squares Problem: Formula- 
tion. Algorithm, and Properties,” SIAM J. Matriz Anal. Appl. 12, 292-309. 

S. Van Huffel (1992). “On the Significance of Nongeneric Total Least Squares Problems," 
SIAM J. Matriz Anal. Appl. 13, 20-35. 

M. Wei (1992). “The Analysis for the Total Least Squares Problem with More than One 
Solution,” SIAM J. Matriz Anal. Appl. 13, 746—763. 

S. Van Huffel and H. Zha (1993). *An Efficient Total Least Squares Algorithm Based On a 
Rank-Revealing Two-Sided Orthogonal Decomposition,” Numerical Algorithms 4, 101- 
133. 

C. C. Paige and M. Wei (1993). “Analysis of the Generalized Total Least Squares Problem 
AX = B when Some of the Columns are Free of Error,” Numer. Math. 65, 177-202. 

R. D. Fierro and J. R. Bunch (1994). “Collinearity and Total Least Squares,” SIAM J. 
Matriz Anal. Appl. 15, 1167-1181. 


当 数 据 矩 阵 有 误差 时 , 涉及 最 小 二 乘 插值 的 其 他 文献 有 : 

K. Pearson (1901). “On Lines and Planes of Closest Fit to Points in Space,” Phil. Mag. 2, 
559-512. 

A. Wald (1940). "The Fitting of Straight Lines if Both Variables are Subject to Error,” 
Annals of Mathematical Statistics 11, 284-300. 

A. Madansky (1959). “The Fitting of Straight Lines When Both Variables Are Subject to 
Error,” J. Amer. Stat. Assoc. 54, 173-205. 

I. Linnik (1961). Method of Least Squares and Principles of the Theory of Observations, 
Pergamon Press, New York. 

W. G. Cochrane (1968). “Errors of Measurement in Statistics,” Technometrics 10, 637—666. 

R. F. Gunst, J. T. Webster, and R. L. Mason (1976). *A Comparison of Least Squares and 
Latent Root Regression Estimators," Technometrics 18. 75-83. 

G. W. Stewart (1977c). "Sensitivity Coefficients for the Effects of Errors in the Independent 
Variables in a Linear Regression," Technical Report TR-571, Department of Computer 
Science, University of Maryland, College Park, MD. 

A. Van der Sluis and G. W. Veltkamp (1979). *Restoring Rank and Consistency by Orthog- 
onal Projection,” Lin. Alg. and Its Applic. 28, 257-278. 


12.4 利用 SVD 计算 子 空间 


有 时 候 需要 了 解 两 个 给 定 的 子 空间 之 间 的 关系 . 他 们 有 多 近 ? 它们 有 交 吗 ? 它 
们 中 的 一 个 可 旋转 成 另 一 个 吗 ? 等 等 . 本 节 将 盖 明 如 何 用 SVD 来 回答 诸如 此 类 的 
问题 . 这 里 需要 第 5 章 和 8.6 市 的 知识 . 


12.4.1 子 空间 的 旋转 
假设 A cR? 是 经 过 一 系列 实验 所 获得 的 数据 矩阵 ， 如 果 这 些 实验 再 重复 
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一 遍 , 则 得 到 另 一 数据 矩阵 B eR”, 在 正 交 Procrustes 问题 中 , 要 知道 BRA 
旋转 成 A, 可 求解 如 下 问题 ， 


min ||A — BQlle, 在 约束 QTQ =I, F. (12.4.1) 


我 们 知道 , 矩阵 的 迹 是 它 对 角 线 元 素 之 和 , 因此 有 tr(CTC) = |C}. 由 Q 的 正 交 
性 有 
|| A — BQ||2, = tr(AT A) + tr(BT B) — 2t (QT B^ A). 
因此 , (12.4.1) 等 价 于 使 tr(QI BT A) 极 大 化 . 
使 tr(QTBT4) RAK Q 可 通过 计算 BTA 的 SVD RH. 若 UT (B? A)V = 
X —diag(o1,--- ,op) 为 矩阵 的 SVD, 定义 正 交 矩阵 Z = V^ QUU, W 


tr(QTBTA) =tr(QTUZYVYT) = tr(ZZ) = Y 2401 X Y 
i=1 i=1 
BR, 当 取 Q = UVT 时 , Z= 1p 上 界 达 到 . 由 此 可 得 下 述 算法 . 
算法 12.4.1 已 知 Af BER™?, 本 算法 找 出 使 得 上 4 一 BQllF 达到 极 小 


HEEE Q c RX? 
C=B'A 
计算 SVD: UTCV = E, Aik U fo V 
Q=UVT 
解 矩 阵 Q 是 BTA 的 正 交 极 因子 , 见 4.2.10 W. 
例 12.4.1 
Q= 0.9999 —0.0126 
| 0.0126 0.9999 
合 
1 2 1.2 2.1 
3 4 29 43 
5 6 Q- 52 61 
7 8 68 81 |l, 
达到 极 小 、 


12.4.2” 零 空间 的 交集 


设 4cRmxn 和 B e RX” 给 定 , 考虑 如 何 寻 找 null(A)naull(B) 的 一 组 标准 
正 交 基 . 一 种 方法 是 计算 矩阵 
A 
c= [3 


的 零 空 闻 , 因为 Cz =0 x €null(A)nnull(B). 然而 , 利用 下 面 的 定理 可 得 到 一 个 
更 经 济 的 算法 . 
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定理 12.4.1 AC R” (z,.--,2,) 为 nul(A) 的 一 组 标准 正 交 基 . 定 
MZ = {z1,---, 24}, 令 {wi,---, we} 为 null(BZ) 的 一 组 标准 正 交 基 , 其 中 BE 
RP*^, SW = [wi,… wa], 8] ZW 的 列 构 成 了 null(A)Nnull(B) 的 一 组 标准 正 交 
基 . 

WEBB ”因为 AZ =0 H (BZW = 0, 故 ran(ZW) cCnull(A)noull(B). 设 
z €null(A)Nnull(B), 则 存在 不 为 0 的 a € Rt, 使 得 x = Za. 但 是 , 由 0 = Ba = 
BZa 知 存在 b c Ra 使 得 a = Wo. 所 以 z= ZW eran(ZW). 口 

算法 124.2 AÈ A c R""", B € 了 pxn， 本 算法 计算 出 一 整数 s RHE 
Y —[yi, Yh RAY 的 列 正 交 且 张 成 空间 null( A) null(B). 若 交 是 平凡 空间 ， 
则 s=0. 

计算 SVD: UR AV 4 = diag(c;), 存储 V A, #4 r = rank(A). 

ifr<n 

C = BVa(:,r+1:n) 
计算 SVD: USCVo = ding(-.). 存储 Vo, #4 q = rank(C) 
ifg<n-r 

sS—n-—r-q 

Y 2Va(;rT-c-1:n)Vo(:q 1:n—r) 


else 


end 
此 算法 的 计算 工作 量 依 赖 于 数 m,n,p RE 的 相对 大 小 . 

我 们 指出 , 该 算法 的 实现 需要 一 种 决定 何 时 忽略 计算 的 奇异 值 ô 的 策略 . 当 
用 容许 值 5( 例 如 , 6; <6 > 6 = 0) 时 , 意味 着 在 | AY llo =% IB ll; ~ s 的 意义 下 
计算 值 Y 的 列 “ 几 乎 " 定义 了 AM B 的 共同 零 空间 . 


例 12.4.2 # 
1 -1 1 420 
A=/1 -1 1 和 B=/2 10], 
1 -1 1 6 3 0 
则 nul(AJNnull(B)=span{z},zm 一 [1 -2 一 37. 用 算法 12.4.2 计算 ,得 
—0.8165 0.0000 0.2673 1 
—0.3273 
V2AVac = | —0.4082 0.7071 | 0.9449 | & | —0.5345 | 20.2673 | —2 
—0.4082 0.7071 ` —0.8018 一 3 
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12.4.3” 子 空间 之 间 的 夹 角 
RFA GE RT 中 的 子 空间 , 它们 的 维 数 满足 
p = dim(F) > dim(G) = q > 1. 
FGZIBIEX6,-.,0,c(0,x/2 定义 如 下 : 


cos(0,) = max max ulv 一 up vp, 


约束 条 件 为 : 
lull = lell — 1 
uu; =0 t=1:k-1 
viv, =0 i=1:k—1. 


注意 , 主角 满足 0 < 0, x0,«n/2. 向 量 {u ug} 和 {v1,… vg} RAB 
间 下 与 G 之 间 的 主 向 量 . 

主角 和 主 向 量 问 题 在 很 多 重要 的 统计 应 用 中 都 会 涉及 到 .最 大 的 主角 与 我 们 
在 2.6.3 节 中 讨论 过 的 等 维 数 子 空间 之 间 的 距离 有 关系 . Æ p = q, 则 dist(F, G) = 
VA — cos*(6,) = sin(6,). 

如 果 Qr ER? 和 Qg ER” HWA FI G 的 标准 正 交 基 , 则 


T T/T 

max max u vY = max max Z. 
max me ax max y (QrQc) 
Hull2=1 itli2-1 Wyllg=1 lizia-1 


从 定理 8.6.1 给 出 的 奇异 值 的 极 小 化 极 大 特征 中 可 知 , 车 Y "(QEQG)Z = diag(or, 
"a oq) 是 QiQc 的 SVD， 则 可 定义 Uk, Ux, Ok WP: 


lw, tU ‘Up] = QFY, 
[vi, ` ‘val = Qc¢Z, 
cos(O,) — ox, k=1:g. 


一 般 地 , 空间 F 和 G MBSA EM A cR”? 和 B eR" 9 的 象 空间 . 在 这 种 
情况 下 , 所 要 的 标准 正 交 基 可 以 通过 计算 这 两 个 矩阵 的 QR 分 解 得 到 . 

算法 12.4.3 BEE A cR? fe BER™U(p > q), 每 个 都 是 列 线性 无 关 
的 , 本 算法 计算 出 正 交 给 阵 U — [uisu], V — [viso ,Vg| 及 cos(01),:… , cos(0,), 
其 中 0, A ran(A) 5 ran(B) 之 间 的 主角 , wp 和 uk 为 相应 的 主 向 量 . 

用 算法 5.2.1 计算 QR 分 解 

A=QaRa, QlQ,-I, Ra E€ 了 pxz 

B-QpgRs, QBQs -I, Rg € R9% 

C= QiQs. 

计算 奇异 值 分 解 ; Y TCZ = diag(cos(gk)) 
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QaY(:,1: q) = [u,v 

QpZ = [v1,--+ ,vol. 
本 算法 约 需 4m(g2 + 2p?) + 2pq(m +q) + 12g? 个 flop. 

利用 SVD 计算 主角 和 主 向 量 的 思想 出 现在 Bjork and Golub(1973) 中 . 该 论 
文 还 讨论 了 4 和 B 秩 亏 的 情况 . 
12.4.4” 子 空间 的 交 


算法 12.4.3 也 可 用 来 计算 ran(A)nran(B) 的 标准 正 交 基 , 其 中 A c R”, 
BeR™*9, 
定理 12.4.2 i {cos(O), uk vehi, 为 由 算法 1243 产生 的 主角 和 主 向 量 . 


do RIBAK s 定义 为 1 = cos(b1) = --- = cos(6,) > cos(0s+1), MA 
ran( A) Qran(B) = span{u1,--: , us} = span{vi,--- , vs}. 
WEBB ”注意 到 , 若 cos(94) = 1, WA w = vx, 从 而 定理 成 立 . E 


在 非 精确 的 运算 下 , 在 算法 12.4.3 中 , 有 必要 计算 余弦 值 为 1 的 近似 重 数 . 
例 12.4.3 如果 


1 2 1 5 
A= 3 4 ; B= 3 7 , 
5 6 5 -1 


则 ran(A) 和 ran(B) 之 间 的 主角 的 余弦 值 为 1.000 和 0.856. 
习 题 
12.4.1 WH: 4 A JI BE m x p EB, p< m, XU 
qu, lA - BQI = Diora) ~ 20;(B™ A) + 0:(B)’). 


12.4.2. ”推广 算法 12.4.2, 使 之 能 够 计算 null Ai) N Nnu As) 的 标准 正 交 基 . 
12.4.3 ”推广 算法 12.4.3, 使 之 能 处 理 A 和 B 秩 亏 的 情况 . 
12.4.4 REA ran(A) 与 ran(B) 之 间 的 主角 和 主 向 量 与 下 述 广义 特征 值 问题 的 特征 


值 和 特征 向 量 之 间 的 关系 : 
0 A'B y |__| ATA 0 y 
BTA 0 z\ ^| o BTB z| 
12.45 Șt A,BcR""^, H A SR. VBR X c R^ 和 使 得 
AX — Bir 达到 极 小 (Ss: 计算 A 的 SVD). 
本 节 注 释 与 参考 文献 


在 正 交 矩阵 集 上 极 小 化 |A- BQ\|r 出 自 心理 测量 学 , JI: 
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P. Schonemann (1966). “A Generalized Solution of the Orthogonal Procrustes Problem,” 
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IEEE Trans. Aerospace and Electronic Systems 11, 30-37. 
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问题 , 见 

A. Bjórck and C. Bowie (1971). “An Iterative Algorithm for Computing the Best Estimate 
of an Orthogonal Matrix,” SIAM J. Num, Anal. 8, 358-364. 

N. J. Higham (1986). “Computing the Polar Decomposition—with Applications,” SIAM J. 
Sci. and Stat. Comp. 7, 1160-1174. 
如 果 4 本 身 就 比较 靠近 正 交 矩阵 ， 则 Björck 和 Bowie 的 技巧 比 SVD 更 加 有 效 . 

min ||AX 一 Flir EAR X 为 对 称 和 矩阵 的 研究 可 见 

N. J. Higham (1988). “The Symmetric Procrustes Problem," BIT 28, 133-143. 
用 SVD 解 标准 相关 分 析 问 题 可 见 

A. Björck and G. H. Golub (1973). “Numerical Methods for Computing Angles. Between 
Linear Subspaces,” Math. Comp. 27, 579-594. 

G. H. Golub and H. Zha (1994). “Perturbation Analysis of the Canonical Correlations of 
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SVD 在 统计 计算 中 有 其 他 作用 , 见 

S. J. Hammarling (1985). “The Singular Value Decomposition in Multivariate Statistics,” 
ACM SIGNUM Newsletter 20, 2-25. 


12.5 “矩阵 分 解 的 修正 


在 许多 应 用 中 , 当 一 矩阵 A e R 在 某 种 极 小 意义 下 变化 了 以 后 , 需要 重新 
进行 分 解 .例如 , 假定 已 知 4 的 QR 分解 , 但 有 时 会 需要 计算 它 作 如 下 变化 后 的 
QR 4H: (a) 给 A 加 上 某 个 秩 1 矩阵 . (b) 给 A 添加 一 行 (或 列 ). (c) MA A 的 
一 行 或 一 列 . 本 节 将 说 明 在 这 些 情况 下 , 修正 A 的 QR 分 解 比重 新 开始 求 QR 分 
解 要 有 效 的 多 . 我 们 还 将 介绍 当 一 矩阵 增加 一 行 后 如 何 修正 它 的 零 空 间 . 

在 讨论 开始 之 前 , 要 指出 的 一 点 是 : 也 有 一 些 技术 来 修正 分 解 PA = ZU,4= 
GG',A = LDL". 然而 , 对 这 些 分 解 进 行 修正 更 为 精细 1 因为 有 时 需 选 主 元 以 及 
当 处 理 正定 矩阵 时 , 变化 后 的 矩阵 往往 不 正定 . 见 Gill, Golub, Murray, and Saun- 
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ders(1974) 以 及 Stewart(1979). 根据 他 们 的 思想 , 我 们 简要 地 讨论 双 曲 变换 及 其 在 
Cholesky 还 原 问题 中 的 应 用 . 


本 节 需 要 熟悉 3.5 节 、4.1 节 、5.1 节 、 5235. 5.4 节 及 5.5 节 中 的 内 容 . 补充 阅 
读 材 料 见 Gill, Murray, and Wright(1991). 


12.5.1 秩 1 修正 


假设 我 们 已 有 分 解 QR 分 解 QR = B c R, 现 要 求 新 的 QR 分解 B+ 
uv' = Q Ri, 其 中 u cR” fll v e R^ 为 已 知 向 量 . 下 式 显然 成 立 : 


B - uv? =Q(R+ wv"), (12.5.1) 
其 中 w-Q'u. 假定 已 计算 出 旋转 矩阵 Jnn, Jo Ji 使 得 
JI Trt = jwe. 


其 中 每 一 J; 是 作用 在 第 WISH k41 DUCA (EE 5.1.3). 5 
这 些 Givens 旋转 矩阵 作用 于 R 后 , 可 证 


H =J] -JIR (12.5.2) 
为 上 Hessenberg 矩阵 . 例如 当 n = 4 的 情形 , 开始 有 


X X X X x 
0 x x x X 
R= 5 w = 3 
0 0 x x x 
0 0 0 x x 
然后 依 下 列 次 序 更 新 : 
x x x x x 
0 x x x x 
R-JiR- ， w-Jiw- ; 
0 O0 x x x 
0 0 x x 0 
X x x X x 
0 x x x x 
R-JÍR- , w-2Jiw- ; 
0 x x X 0 
0 0 x x 0 
X X X X x 
X X x X 0 
H=J{R= , w-Jiw- 
0 x x x 0 
0 0 x x 0 
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因此 ， 
(JT... J7_,)(R+ wv") = H x |wlseiv? = Hi (12.5.3) 
为 上 Hessenberg W. 


在 算法 5.2.3 中 , 我 们 说 明了 如 何在 O(n?) 个 Hop 内 计算 出 一 个 上 Hessenberg 
矩阵 的 QR 分 解 . 特别 地 , 我 们 可 找 出 Givens 旋转 矩阵 Gi, k —1:n — 1, 使 得 


Gl, GIH, =R (12.5.4) 
为 上 三 角形 矩阵 . 把 (12.5.1)~(12.5.4) 结合 起 来 得 到 QR. 分解 B +uvT = QR, 


其 中 
Qi = Qn JIGI Gua 


仔细 的 分 析 可 知 这 需要 约 26n? 个 flop. 计算 向 量 w = Qu 要 2n? + flop, 计算 
H 并 把 J, RI Q 上 需 120? 个 top. 最 后 ， 计算 Ri 并 把 Gi RIJ Q 上 需 12n? 
个 flop. 

这 一 技巧 对 B 为 长 方形 矩阵 的 情形 也 是 适用 的 . 它 也 可 推广 到 计算 B+UVT 
的 QR 分 解 . FL rank(UV") =p>1. 
12.5.2 ”增加 或 删 去 一 列 的 情况 

假设 已 有 QR 分 解 : 

QR= A = |a, an), a; ER”, (12.5.5) 


把 上 三 角形 矩阵 RE Rmx" 作 如 下 分 块 : 
Ru v Ha 


0 Tkhk wr 
0 0 R33 
k-1 1 n-k 


下 面 我 们 要 计算 下 述 和 矩阵 的 QR 分 解 : 


k-1 
1 


m-—k 


A 一 lai, s Ok-1, Gk+1 ,Qn| € Rm^Xx(n-1) 


注意 4 是 由 4 PHAR k 列 所 得 , E 


Ri Rig 
0 wr |-H 


0 R33 


为 上 Hessenberg 矩阵. 例如 : 
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X X X X X 
0 x x x x 
0 0 x x x 
H={0 0 x x x], m=7, n=6, k=3 
0 0 0 x x 
0 0 0 0 x 
0 0 0 0 0 


显然 , 不 需要 的 次 对 角 元 hiking 可 用 一 系列 的 Givens REPEL AS: 
GT ,...GLH = Ry. 这 里 G; 是 作用 在 第 i 列 与 第 i+1 列 之 间 的 旋转 ,i = ki n- 1. 
因此 , 4 Qi = QG; Gn, WA =Q R A A 的 QR 分解. 

上 面 的 修正 程序 可 在 O(n?) 个 flop 完成 , 它 在 某 些 特定 的 最 小 二 乘 问 题 中 很 
有 用 . 例如 , 为 了 检验 基本 模型 中 第 个 因素 的 重要 性 , 可 以 在 相应 的 数据 矩阵 中 
删 去 此 列 , 并 解 所 得 矩阵 的 LS 问题 . 

同样 , 能 够 有 效 地 计算 矩阵 4 增加 一 列 后 相应 的 LS 问题 的 解 也 是 很 有 用 处 
的 . 假设 已 有 QR 分 解 (12.5.5), 现 要 计算 


= [al ,Qk,Z, Qk41,... , Gn] 
的 QR 分 解 , 其 中 z eR” Bg. Æ w = QTz, 则 
QTA = [Q*a,--- ,QT ar w, QT axi, ,QTan| =A, 
ER T k+1 列 的 “尖峰” 外 , 它 是 上 三 角形 的 . 例如 : 


X X X X X X 
Ü x x x x x 
0 0 x x x x 
Á-|0 0 0 xxxl], m=7 n=5, k-3 
0 0 0 x 0 x 
0 0 0 x 0 0 
0 0 0 x 0 0 
可 以 找 出 Givens 旋转 Imi, , Jep 使 得 
Wi 
WAL 
Ji JI jw , 
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且 Jip JRA = 五 为 上 三 角形 矩阵 . 我 们 继续 用 上 面 的 例子 来 说 明 这 一 点 . 


X X X X X X 
0 x x x x X 
0 0 x x x x 
H-JIA-|0 00 x x x], 
0 0 0 x 0 x 
00 0x 0 0 
0 0 0 0 0 0 
X X X X X X 
0 x x x X x 
0 0 x x x x 
H=J;H=/0 00 x x x | 
0 0 0 x 0 x 
0.0 0 0 0 x 
0.0000 0 
X X X X X X 
0 x xX x X x 
0 0 x x x x 
H-JIH-|0 0 0 x x x |, 
0 0 0 0 x x 
0.0 00 0 x 
0.0 0 0 0 0 


此 修正 大 约 需要 O(mn) 个 flop. 
12.5.3 ”增加 或 删 去 一 行 
BREA QR 分 解 QR = A c Rmxn MER A = [| 的 QR 分 解 , 其 中 


w € R^. 注意 , diag(1,Q7™)A = M = H, H 为 上 Hessenberg 和 矩阵. 因此 , 可 找 


出 Givens 旋转 矩阵 Ji, Jn 使 得 Ja JIH = Ri 为 上 三 角形 矩阵 . 由 此 可 知 
A =Q,R, 便 是 所 要 的 QR 分 解 , 其 中 Qi = diag(1, 8)J1:… Js. 
如 果 在 4 的 第 行 与 第 +1 行 之 间 增 加 新 的 一 行 , 修正 分 解 没有 本 质 上 的 
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困难 . 只 要 在 上 面 的 步 台中 以 PA RE A, 以 PQ RE Q, 其 中 
p- | O Imk | 
I, 0 
结束 后 , diag(1, P')Q, 就 是 所 要 的 正 交 分 解 因子 . 


最 后 , 我 们 考虑 一 下 当 A 的 第 一 行 删 去 时 , 如 何 修 正 它 的 QR 分 解 QR = A e 

Rn. 确切 地 说 , 我 们 希望 计算 出 子 和 矩阵 A 的 QR 分 解 , 这 里 
zT1]1 
A= "m m1 
( 删 去 任意 一 列 的 情形 是 类 似 的 ). 令 aT AQ 的 第 一 行 , 且 计 算出 Givens hee Hi 
阵 GG, Gm 使 得 
GT..GL 1qg=ael，a= 土 1， 

注意 
v 


H=G!...q™ ,R= "H 


是 上 Hessenberg 矩阵 且 
a 0 
Q6, i =| o al 
其 中 Q e R("n-0x(-0 是 正 交 的 . 因此 ， 
一 | zt = woe T eae T = a 0 vT 
A= H | = (Qm G1)(G, G,, ,R) 一 | 0 Q, | | Ri | , 
从 中 可 以 看 出 A = QR 就 是 所 要 的 QR 分解. 


12.5.4 双 曲 变换 法 


我 们 曾 提 到 过 分 解 4 = QR 中 的 “R” 是 ATA = GGT rift Cholesky 
因子 . 因此 , 刚刚 讨论 过 的 QR 修正 算法 与 Cholesky 分 解 类 似 的 修正 问题 之 间 有 
非常 紧密 的 联系 . 我 们 以 Cholesky 还 原 问 题 来 说 明 这 一 点 , 它 相应 于 在 QR. 分 解 
中 删 去 矩阵 4 的 一 行 的 情形 . 在 这 一 问题 中 , 已 有 Cholesky 分 解 : 

GG? = ATA= PIE (12.5.6) 
Al lA 5. 
其 中 4 e Rmxnm > n,z € R^. 我 们 的 目标 是 寻找 一 低 阶 的 三 角形 矩阵 Gi 使 得 
GGT = AT A,. 对 这 个 有 趣 而 重要 的 问题 有 好 几 种 不 同 的 途径 来 处 理 . 现 给 出 一 
个 依赖 于 双 曲 变换 的 还 原 步 骤 , 它 可 以 引进 一 些 新 的 思想 . 
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我 们 从 一 个 概念 开始 . 矩阵 H € R" XOU AT 4E 3-48B- S = diag(+1) 是 
fyiE 86, # ASH =S. 从 (12.5.6) 有 ATA = ATA, + zz7 = GGT, 于 是 有 


T 
At A, = ATA 一 zzi = GGT — 之 Z 工 一 [G z] In 0 G 
0 -1| | zT 


定义 符号 矩阵 


I, 0 
S= | — | (12.5.7) 
假定 能 找到 和 矩阵 H c R7 DxC0 使 得 HTSH = S, 且 有 性 质 : 
GT GT 
[a] " 


为 上 三 角形 矩阵 . 由 此 可 得 : 


ATA, = [G amen | c | =(G, o|s | e | = GGT. 
z 0 
这 就 是 所 寻找 的 Cholesky 分 解 . 

现在 我 们 说 明 在 (12.5.8) 中 怎样 利用 双 曲 旋转 构造 双 曲 变换 矩阵 , 一 个 2 x 2 
的 双 曲 旋转 具有 如 下 形式 ， 

H=- cosh(0) —sinh(0) | | C 一 8 
~ | —sinh(@)  cosh(9) | | -s ej 

注意 , 如 果 H c RX? 是 一 双 曲 旋转 矩阵 , 则 HTSH = S, 其 中 S = diag(-1,1). 
和 Givens 旋转 矩阵 一 样 , 双 曲 旋转 矩阵 也 可 用 来 消去 元 素 . 从 


[Sz] HE] e 


可 得 方程 cr = sci. 注意 到 当 zi = x2 40N, 此 方程 无 解 , 双 曲 旋转 矩阵 在 数值 
上 不 如 Givens 旋转 矩阵 那么 稳固 . 若 zi A za, 则 可 计算 出 相应 的 cosh-sinh Xf: 


if z2 =0 
s=0;c=1 
else 
if [zo] « Iz] 
T —z2/21;) 0 = l/ V1— T?; 8 — cT (12.5.9) 


elseif |zi| < |x2| 


T = T1 /T2;8 = 1/V1l—T7?;c— sT 


end 
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end 
观察 可 知 ， 这 一 算法 产生 的 双 曲 旋转 矩阵 的 范 数 随 着 zi 趋 近 于 za 而 变 得 越 来 越 
K. 

设 和 矩阵 H = H(p,n +1,0) € R*Dx(*D 除了 元 素 hpp = hn+1,n41 = cosh(0), 
Apnti = haa = —sinh(6) 外 , 其余 元 素 都 是 1, 则 必 有 HTSH = S, 其 中 5 
如 (12.5.7) 所 述 ， 利 用 (12.5.9)， 我 们 试图 对 有 = 2 : n 十 1 找 出 双 曲 旋转 矩阵 
H, = H(1,k, 0x) 使 得 


[t1] 
l zT 0 |. 
如 果 A 是 列 满 秩 的 , 这 是 可 以 办 到 的 . 双 曲 旋转 将 元 素 (k 十 1,k) 的 值 化 为 零 . RA 


话说 , 车 A 列 满 秩 , 则 可 证 每 次 调用 (12.5.9) 必 可 产生 一 cosh-sinh XY, A Alexander, 
Pan, and Plemmons(1988). 


12.5.5 ”修正 ULV 分 解 
假设 4 ce Rmxn 是 秩 亏 的 , 旦 有 它 的 零 空间 的 一 组 基 . 如 果 给 4 增加 一 行 ， 


~ A 
4 上 | 
怎样 容易 地 求 出 A 的 零 空间 的 基 昵 ? 当 涉 及 一 系列 这 样 的 修正 问题 时 , 就 变 成 了 
跟踪 零 空 间 的 问题 . 子 空间 的 跟踪 问题 出 现在 很 多 实时 信号 处 理 的 应 用 中 . 
用 SVD 来 计算 是 很 策 的 方法 , 这 是 因为 重新 计算 秩 1 扰动 后 的 矩阵 的 SVD 
需 O(n?) 个 flop. 不 过 , Stewart(1993) 证 明了 , 如 果 把 3.5.4 节 中 条 件数 估计 的 思想 
与 完全 正 交 分 解 结合 起 来 , 则 零 空间 的 修正 问题 可 用 On?) 个 flop RER. 回想 
5.4.2 节 的 内 容 便 可 知 , 完全 正 交 分 解 是 从 两 边 进行 的 , 且 可 显示 原 和 矩阵 的 秩 ， 
Tu 0 
0 
可 用 一 对 QR 分 解 (其 中 一 个 用 到 了 列 选 主 ) 来 实现 这 一 点 . 在 这 种 情况 下 , 精确 
的 运算 可 使 Ti = L 为 下 三 角形 矩阵 . 但 由 于 噪声 和 舍 入 误差 的 影响 , 我 们 实际 计 
算 下 面 的 形式 : 


UT AV = 


| . Tu €R™, r-rank(A). 


L 0 
H E 
0 of 
其 中 LeRUTU; Ee ROX) 为 下 三 角形 矩阵 .和 onin(L) 相 比 , WA E 
是 小 的 矩阵 . 在 这 种 情况 下 , 我 们 把 (12.5.10) S AK ULV 分 解 . 若 作 划分 


= [Vi V3], U= [Uy U2], 
T n—r r m-r 


UT AV = (12.5.10) 
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则 V 的 列 定义 了 一 近似 零 空间 ; 
| AVall2 = ||U2Ell2 < Ella. 


我 们 的 目标 是 计算 出 增加 了 一 行 的 矩阵 A 的 显 秩 ULV AMO. 更 明确 地 讲 , 我 们 
的 任务 是 如 何 修正 矩阵 L,E, H,V 和 秩 数 (可 能 的 话 ), HE O(n?) 个 flop 完成 . 
注意 到 


7 L 0 
U i 

0 A v- H E 

0 1 zt 0 0 

wi yT 


AEH GTR H 与 BK ISAT, 可 以 看 到 , 问题 在 于 用 O (2) 个 flop 计 
a FE 


0 0/0 0 0 
0 ojoo 0 
Lo 1 0|10 0 0 
l t]0 0 0 

E e |- h hle 0 0 (12.5.11) 
(Y h hje e 0 
h hle e e 
w wiy yy 


的 显 秩 ULV 分 解 . 这 里 , 以 + = 4 和 n 一 7 为 例 来 说 明 主要 思想 . 记 住 , Oo A M 
e 是 很 小 的 , 且 已 经 导出 数值 秩 是 4. 在 实际 中 , 这 涉及 与 5.5.7 节 中 较 小 的 容许 值 
比较 的 问题 . 

应 用 与 12.5.3 节 中 类 似 的 消 元 技巧 , 可 用 一 系列 的 行 旋转 把 最 后 一 行 化 为 零 
JU: 


olx x xx x x o 
olx x xx x oo 
olx xX X|x ooo 
Olx x XIS ooo 
olx x olo o oo o 
olx ooloooo 


S|Ix x XXX X X X 


D 与 此 对 称 的 是 显 秩 URV 分 解 , 在 有 些 情形 用 URV 形式 比 ULV 更 好 . 
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因为 这 种 化 零 过 程 把 最 后 一 行 的 元 素 (可 能 很 大 ) 与 其 他 行 的 元 素 混和 在 一 起 , 所 
以 三 角 部 分 一 般 不 是 显 秩 的 . 然而 , 可 以 联合 利用 条 件数 估计 和 旋转 化 零 的 技巧 来 
恢复 显 秩 的 结构 . 假设 增加 一 行 后 , 零 空间 的 维 数 为 2. 

用 一 可 靠 的 条 件数 估计 量 , 我 们 可 得 一 2 范 数 单位 向 量 p, 使 得 


lp" Lio = Cwin(L). 
见 3.5.4 节 . mJ APB [Ui 4138, 使 得 
UGU eU bU nU BU pop = eg = Ig(:,8). 


矩阵 H-ULULULULULULL 为 下 Hessenberg #8, 它 可 用 一 系列 的 列 旋 
转 恢 复 为 下 三 角形 式 La: 


Ls = HV12V23V34V 45 V s6 V 67. 
可 得 ， 
ef Ly. = (ed H)V12V23V 34V 45V seV 67 = (p. L)V 12V a3V 34V 45V 56 V 67 
的 范 数 近似 值 为 rmin( 亏 ). 因此 , 我 们 得 到 一 个 具有 如 下 形式 的 下 三 角形 矩阵 : 


其 中 , h A e 很 小 . 我 们 可 以 对 上 述 矩 阵 中 的 6x6 主子 矩阵 重复 条 件数 估计 和 赶 零 
的 技巧 , 或 许 又 能 得 到 另 一 元 素 很 小 的 行 : 


(否则 , 说 明 秩 数 为 6). 继续 重复 这 一 过 程 , 可 以 把 任何 下 三 角形 矩阵 变 成 显 秩 的 形 
式 . 
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12.5 SERS AES EIE 


可 以 通过 一 种 不 同 的 更 加 有 效 的 途 


我 们 


, 


很 小 的 情况 下 


在 (12.5.11) 中 向 量 y 
径 来 化 成 显 秩 的 形式 .我 们 开始 用 一 系列 左 Givens 旋转 和 右 Givens 旋转 把 y 除 


第 一 个 分 量 外 的 所 有 分 量 都 化 为 零 ; 


i 列 与 第 了 列 之 间 的 


旋转 矩阵 . 注意 , 在 这 一 过 程 中 大 数 和 小 数 没 有 混合 在 一 起 运算 , 这 一 点 很 重要 . 元 


X h A e 还 是 很 小 . 


P 1828 


«v. . 


行 之 间 的 旋转 矩阵 ， 


” 指 第 i 行 与 第 j 


2 


RA Uy 


可 以 找到 一 系列 旋转 变换 阵 把 矩阵 化 成 如 下 形式 ; 


我 们 


, 


一 过 程 


按照 这 


其 中 元 素 y 很 小 : 
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注意 , ye 也 是 比较 小 的 , 因为 2 范 数 在 旋转 变换 下 保持 不 变 . (1, 5), (2, 5), (3, 5) 


和 (4, 5) 位 置 上 的 列 旋转 变换 可 把 元 素 p 化 为 零 : 
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因此 , 这 就 化 成 了 (12.5.12) 中 的 结构 . 所 有 元 素 y 都 是 很 小 的 , 所 以 可 用 一 系列 的 
行 旋转 变换 U57,U 47, ,U7 把 最 后 一 行 的 元 素 化 成 零 ， 得 到 显 秩 的 形式 ， 


o > er ele na oo 
or er el~ ooo 
once CO1O 00 © 


l 
l 
l 
l 
h 
h 
h 
0 


12.5.1 ”假设 已 有 A cR"*" 的 QR 分 解 , 现 要 求 极 小 化 问题 min ||(A + uv™)e — bllz 
的 解 , 其 中 u,b c R^, v c R^ 给 定 . 给 出 一 个 求解 此 问题 且 只 需 Omn) 个 flop 的 算法 . 假 
定 必须 修正 Q. 

12.5.2 MA QR 分 解 QR = A e Rmx". 给 出 一 个 求 去 掉 A 的 第 行 所 剩 下 的 矩阵 
的 QR 分解 算 法 , 它 只 需 O(mn) 个 flop. 

12.5.85 HT c Rn"xn 是 三 对 角 对 称 矩 阵 . v c R^, 说 明 怎 样 用 Lanczos 算法 , 在 O(n”) 
个 flop 内 计算 正 交 矩阵 Q € R"x” 使 得 QT(T + vv")Q — T 为 三 对 角 的 . 


T 
12.5.4 WW A- [3 | 列 满 秩 , c c R^, B c R("-U*", m > n, 用 Sherman-Morrison- 


Woodbury 公式 证 明 : 
1 1 IATA ek 
omin(B) ~ omin(A) 1-—cT(ATA)-!c 
12.5.5 ”作为 zı 和 za 的 函数 , (12.5.9) 产生 的 双 曲 旋转 矩阵 的 2 范 数 是 多 少 ? 
12.5.6 WEB]. 如果 A 列 满 秩 , JU] 12.5.4 节 的 双 曲 约 化 不 会 失败 . 


12.5.7 wa-| 4 MELLE < 证 明 : 若 


min 


则 || Hilo < ell Hla. 
本 节 注 释 与 参考 文献 


修正 问题 的 诸多 方面 可 见 : 
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12.6 ”修正 的 及 结构 化 的 特征 问题 


在 本 节 中 . 我 们 讨论 带 约束 的 、 道 形式 的 和 结构 化 的 特征 值 间 题 . 虽然 它们 并 
不 相关 , 但 放 在 一 起 是 为 了 说 明 如 何 用 前 述 章 节 中 基本 的 分 解 思想 来 解决 某 些 特殊 
的 特征 值 问 题 . 
本 节 与 前 面 的 内 容 之 依赖 关系 如 下 : 
5.1 节 , 5.2 节 , 8.1 节 , 8.3 节 一 12.6.1 节 
8.1 Fi, 8.3 节 , 9.1 节 12.6.2 $F 
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4.7 节 , 8.1 节 一 12.6.3 节 
5.1 节 , 5.2 节 , 5.4 节 , 7.4 节 , 8.1 节 , 8.2 节 , 8.3 节 , 8.6 节 一 12.6.4 节 
12.6.1 ” 带 约束 的 特征 值 问题 
假设 A € R^*" 对 称 , 函数 r(z) = zTAz/zTw 的 梯度 为 零 当 且 仅 当 z 为 A 
的 特征 向 量 . 因此 , r(x) 的 稳定 值 为 4 的 特征 值 . 
在 某 些 应 用 中 , 需要 找 出 r(z) 在 约束 CTs = 0 下 的 稳定 值 . 其 中 C ER? n> 
p. 假设 


groz~| 5 d T r — rank(C) 
nr 
ro p-r 
HÀ C 的 完全 正 交 分 解 . 定义 矩阵 B e R""" 如 下 : 
Ta p | Bu Br r 
d'Aq-n-| oe t 
r n-or 
以 及 令 we; 
一 OTr = 
y-Q'«-[7],7, 


因为 Cle = 0 SRT STuw = 0， 故 原 问 题 变 为 在 约束 u = 0 FRR rly) = 
yTBy/yTy 的 稳定 值 . 但 这 只 是 相当 于 找 出 — 7) x (n - r) 对 称 和 矩阵 Boo 的 稳 
定 值 (特征 值 ). 
12.6.2 ASTER 
考虑 在 上 一 小 节 中 e = 1 的 情形 . WX < … < Mn-i 为 zT4z/zrm EAR 
cla = 0 下 的 稳定 值 . 由 定理 8.1.7 An, 这 些 平 稳 点 把 A 的 稳定 值 X 分 割 开 来 : 
An Shih iS XM SA SM. 
现 假设 4 的 特征 值 互 不 相同 , BABM ja An 满足 : 
An < nai < Àn <e < Aa < Àa < Aa. 
我 们 试图 找 出 一 单位 向 量 cc R”, 使 得 Xi 是 TAr 在 约束 ate = 1 Ache =0 
下 的 稳定 值 . 
为 了 确定 c 所 具有 的 性 质 , 我 们 应 用 Lagrange RTE. 令 函 数 
olz, A, u) = zT Ax — Mata — 1) + 2uzTc 
的 梯度 为 零 ， 可 得 一 重要 方程 (4 - AT)z = -Hpe， Bb (A — AD) ERE z = 
-HU( 4- AI) e, 在 这 个 方程 的 两 边 乘 以 cT 并 利用 特征 值 分 解 AT AQ = diag(à;), 
可 得 
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其 中 d=Q"c, BA 


n 


P(A) 2 3d [o - 9 =0. 
cog 


注意 , 1 = dela = di = af +--+, 是 CANC MAR AA pir) 是 以 
和 1,… ,和 An-1 为 零点 的 多 项 式 , WA 


n—1 
PA) = [Os - »- 
. j=1 
从 pid) 的 两 个 表达 式 可 知 


n-1 n—1 f 
d; = [Os - w/ I-A) k=1:n. (12.6.1) 
ji jzk , 
除了 符号 ，d 可 以 确定 . 这 样 对 原 问 题 有 27 个 不 同 的 解 c = Qd. 
一 个 相关 的 逆 特 征 值 问 题 是 找 一 个 三 对 角 和 矩阵 


Q fh e 0 
Br ag ` 
T = 
. . Bn—1 
0 el. Bn-1 An 


使 得 T 的 特征 值 为 {和 1,… An}, TO: 7,2: n) 的 特征 值 为 {和 1,… Ani}, 其 中 
`M > > Ag > > Ana > Anai > An- 
我 们 说 明 如 何 用 Lanczos 方法 来 计算 三 对 角 和 矩阵 T. 注意 , 和 是 函数 
| yl Ay 

ly) 7 yTy 
在 约束 d'y = 0 下 的 平稳 点 , 其 中 4 = diag( 和 1,… An), d 由 (12.6.1) 确定 . 如 果 
我 们 对 A = A 和 gi = d 运用 Lanczos 迭代 (9.1.3), Way PE EAR Q 和 三 对 
AERE T 使 得 QT AQ =T. 令 x= QT y, 可知 是 

T 

ve) = 
在 约束 efx =0 下 的 平稳 点 . 这 正好 是 T(2:n,2:n) 的 特征 值 . 
12.6.3 ”Toeplitz 特征 值 问 题 


假设 
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是 一 个 对 称 正定 的 Toepliz BR, r e R"-!1， 我 们 的 目标 是 在 假设 和 min(T) < 
Amin(G) 下 计算 T 的 最 小 特征 值 和 win(T). Cybenko and Van Loan(1986) 考虑 
了 该 问题 , 它 在 信号 处 理 中 有 应 用 . 


设 
1 r? a} a 
r G]|y yj 
a-t-rly-AÀo, or4 Gy = X. 


# A ¢ AG), Jl y = a(G— M) r,a Z0 H 


a+ rT[-o(G — AI) !r| = Aa. 


Bp 


因此 和 是 有 理 函 数 
fd) =1-A-r7(G-AD Ir 
的 零点 . 我 们 在 8.5 节 和 12.1 节 中 处 理 过 类 似 的 函数 . 在 这 种 情况 下 , f 总 是 有 负 


的 斜率 ; 
f(A) = -1 -IG -AD ra < -1 


如 果 入 < Amin(G), 则 它 的 二 阶 导数 也 是 负 的 : 
f" (A) = —2r7(G — AT) ?r < 0. 
利用 这 些 事实 可 证 , 若 


Amin(T) < A < Amin(G), (12.6.2) 
Ji] Newton 迭代 70) 
(k+1) _ (kK) A 7 

NED = 6 - 7 (9j (12.6.3) 


SAUL Amin (T). 注意 
14 rTw — A) 
MED = NO late 


? 


其 中 w 是 带 位 移 的 Yule-Walker 方程 组 
(G — A9 Dw = -r 


之 解 . 因为 和) < Amin(G), 所 以 G — AO I 是 正定 的 . 因而 , 对 正规 Toeplitz 矩阵 
(G — A9 D)/(1 — AM) 可 应 用 算法 4.7.1. 

满足 (12.6.2) 的 初始 值 可 以 通过 观察 对 矩阵 TA (T — A7)/0 — A) HB Durbin 算 
法 来 得 到 . 对 此 和 矩阵 ，“r” 向 量 是 r/(1 — A), 所 以 Durbin 算法 (4.7.1) BA: 

r — r/(1— A) 

yO = -rı 
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fork=1:n—1 
fy = 1+ [r9]TO (12.6.4) 
ap = — (rpq tT Ey) / Br 
2) = y(9 十 a, Epy 
Z0) 
yer = la. | 
end 
从 4.7.2 节 的 讨论 知 81,… , Bk 0 能 保证 T (1: k - 1,1: k - 1) 是 正定 的 . 因此 ， 
适当 地 修正 后 的 算法 (12.6.4). 可 用 来 计算 mA) 它 是 使 得 81,… ,Bm AEX, 但 
Brat <0 的 最 大 指标 m. 注意 到 , Æ mA) = n — 2, 则 (12.6.2) 成 立 . 这 建议 如 下 
的 二 分 法 : 
i L fo R, RA L € Amin(T) < Amin(G) < R 
until m —n —2 
\=(L+R)/2 
m = m(X) 
ifm<n—2 
R= 
end 
ifm=n-1 
L= (12.6.5) 
end . 
end 
闭 区 间 [L, R] 始终 包含 使 得 m( 和 ) = n 一 2 的 点 和 所 以 算法 结束 时 , 和 具有 这 一 
性 质 . 
初 值 区 间 有 几 种 可 能 的 选择 . 一 种 想法 是 令 L-0,R—1- nl, 因为 


) =1- Ira}. 
这 里 的 上 界 由 定理 8.1.7 给 出 . 
JER, (12.6.4) 和 (12.6.5) 中 的 选 代步 至 多 需要 O(n?) 个 flop. Cybenko and 
Van Loan (1986) 给 出 了 只 需 O(log n) 次 迭代 的 直观 证 明 . 


12.6.4 IES RAE 
PERE A cR” 的 特征 值 和 特征 向 量 是 信号 处 理 中 的 一 个 问题 , 见 
Cybenko(1985). A 的 特征 值 都 在 单位 圆 上 , 此 外 


cos(0) +isin() € A(A) + cosg € (25) = X 


1 n 


0« Amin (T) < Amin(G) < Amin (| 
. T1 1 


A AT 
2 
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这 提示 我 们 用 Schur 分 解 来 计算 Re(A(A)): 
T/A+AT , 
Q (55) Q = diag(cos(61},--- , cos(0,,)). 


然后 用 公式 s = VT — 来 计算 Im(A(4)). 不 幸 的 是 , 4 |c| 1, 由 于 浮 点 运算 
中 有 效 数字 的 抵消 , 这 个 公式 不 能 给 出 一 个 准确 的 正弦 值 . 不 过 , BT DA RO eR 
FE (A - 47)/2 来 计算 小 的 “正弦 ” 特征 值 . 但 这 样 的 话 , 我 们 讨论 的 是 一 种 需要 一 
对 满 Schur 分 解 的 方法 , 故 它 失去 了 吸引 力 . 

Ammar, Gragg, and Reichel(1986) 给 出 了 一 种 可 避免 这 些 困 难 的 方法 , 它 涉及 
有 趣 的 奇异 值 分 解 的 应 用 . 我 们 只 介绍 他 们 的 算法 中 有 关 特 征 值 的 那 一 部 分 . 算法 
的 导出 是 构造 性 的 , 因为 它 实际 上 用 到 了 我 们 所 学 过 的 每 一 种 分 解 . 

第 一 步 是 用 正 交 和 矩阵 把 A 化 为 上 Hessenberg 矩阵， QTAQ = H (通常 情况 
F, A 已 经 就 是 Hessenberg 形式 ). 不 失 一 般 性 , 可 假设 H 不 可 约 , 且 它 的 次 对 和 角 
元 为 正 数 . 

车 n 为 奇数 , 则 A 一 定 有 一 实 特征 值 , 因为 实 算 阵 的 复 特征 值 总 是 以 共 轿 对 
的 形式 出 现 . 在 这 种 情形 下 , 仔细 应 用 特征 向 量 方程 Hx = s R He = r, H O(n) 
工作 量 就 可 把 原 问题 降 成 n — 1 维 . 见 Gragg(1986). 因此 , 我 们 可 假定 n 为 偶数 . 

对 1T< ks 和 m 一 1 定义 反射 矩阵 Gr € R”: 
Iki 9 0 0 
Gr = Gs) = 0 —Ch Sk 0 

0 Sk Ck 
0 0 0 FIn—k-1 
其 中 cp = cos(óx), sk = sin($&), 0 < dx < n. 可 以 找 出 第 阵 G1,… Gai 使 得 
H = (G,---Gy-_1)diag(1,--- , 1, 一 cm)， 


其 中 c。 = +1. REE H 的 QRAR. ERE s1,… ,sn-_1 是 H 的 次 对 角 元 . 
«n» 矩阵 是 对 角形 的 , 这 是 因为 它 既是 正 交 的 又 是 三 角 的 . 因为 反射 矩阵 的 行列 式 
为 -1， 所 以 det(H) = cp, 这 个 数 是 H 的 特征 值 的 乘积 . 所 以 , Æ cn = —1, 则 
{-1,1} € ACH). 在 这 种 情况 下 也 可 进行 降 阶 . 

所 以 总 的 说 来 , 我 们 可 假设 ”为 偶数 , 且 

H= Gi(¢1) tt Gn_i(dn—-1)Gn(¢n), 
这 里 Gr = Gnn) = diag(1,:-- 1, —e4), €n = 1. 要 求 的 特征 值 为 
ACH) = {cos(,) +i sin(ôk)}k=1; (12.6.6) 

其 中 mm = n/2. 

AIZE c1,:… ,cn 称 为 Schur 参数 . 正如 我 们 所 指出 的 , 相应 的 正弦 值 是 A 的 
次 对 角 元 . 应 用 这 些 数 , 可 以 显 式 地 构造 一 对 对 角 算 阵 Bo, Bs eR" 使 得 
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c(Bo(1:m,1:m)) = (cos(61/2), --- ,c0s(6,,/2)), (12.6.7) 


o(Bs(1:m,1:m)) = (sin(04/2),--- ,sin(Om /2)}, (12.6.8) 
Bo(1:m,l: m) 和 Bs(1: m,1: m) 的 奇异 值 可 以 用 双 对 角 SVD 算法 求 出 . 当 
0 < 6, < n/2 时 , 可 以 从 sin(0,/2) 精确 求 出 0,; 当 x/2 < 9 < nx Bf, 也 可 以 从 
cos(0,/2) 精确 求 出 Qr. Bo 和 Bs 的 构造 基于 下 面 三 个 事实 . 
(1) 五 相似 于 A= HH., 其 中 H, M H, 分 别 是 奇数 个 和 偶数 个 反射 窍 阵 
的 乘积 : 
H, = GiG3---Gr-i, 
H. = G43G4::: Gn, 


这 些 矩 阵 是 2 x 2 块 或 1 x 1 块 组 成 的 块 对 角形 矩阵 , 即 


H, = diag(R(¢1), R(¢3), Ut (os 1)), (12.6.9) 
H. = diag(1, R(¢2), R(¢a), n. , (os 2), —1), (12.6.10) 
其 中 
_ | —cos(ġ)  sin() 
R(¢) = | sn()  cos(d) | (12.6.11) 
(2) 对 称 三 对 角 矩 阵 

C= Heit 和 s- Hee (12.6.12) 

的 特征 信 为 
MC) = {+ cos(01/2), - - - , + cos(Om/2)}, (12.6.13) 
A(S) = (x sin(01/2), --- ,+ sin(0,,/2)). (12.6.14) 


(3) 可 以 构造 满足 (12.6.7) 和 (12.6.8) RIIAT AERE: 
ULCVc=Bo, UISVs- Bs. 

变换 矩阵 Uc, Vo, Us, Vs 是 已 知 的 反射 矩阵 Gi 和 简单 的 交换 矩阵 的 乘积 . 

我 们 用 证 明 H 与 HH. 相似 来 开始 这 三 个 事实 的 验证 . n = 8 的 情形 足以 说 
明 问 题 . ENEE P: 

F3 = G3G4G5G6G7Gs, 
P= F7FsF3, 其 中 。 Fs = GsGeGrGs, 
, Fy, = GGs. 

既然 这 些 反射 矩阵 是 对 称 的 , 且 当 li- j| 2 2 85, GIG; = GyGi, 所 以 有 : 


FHFT = (G3G4Gs5GsG;Gs)(G1GoGsG4GsGeGzGs)(GsGaGs GeGzGs) 
= (G3G4GsGeG7Gg)G1Go 
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= G1G2G3G4G5GsG7Gs, 
F;(F3HF!)F! = (GsGeG7Gs)(G1G2G3GuGsG6G7Gs)(GsGceGr7Gs)* 
= (GsGeG7Gg)GiG3G2G, 
= G,G3GsG2G1GeG7Gs 
PHP" = F,(F;F3HF3F:)F; 
= (G7Gg)(G1G3G;G2G4GeG7Gs)(G7Gx)* 
= (G1G3GsG7)(G2G1GeGs) = HoH, 
我 们 需要 建立 的 三 个 事实 中 的 第 二 个 反映 了 H = HOH 的 特征 值 和 (12.6.12) 


中 矩阵 C 的 特征 值 与 第 阵 S 的 特征 值 之 间 的 联系 . 从 (12.6.9) 和 (12.6.11) 可 知 这 
些 矩 阵 是 对 称 的 、 三 对 角 的 和 不 可 约 的 , 例 


一 C1 $81 0 
C= 1 Si €1—€2 $2 
2 $5 C2 — C3 83 
0 0 83 C3 — CA 
一 C Si 0 0 
S= 1 81 Cite, 一 82 0 
2 0 一 32 一 Cz — C3 83 
0 83 €3 + C4 
利用 定义 , 易 证 : 
+H’ H,H.4(H,H.)!  H,H.4 H.H, ; 
— M 一 ee eee CO 2C — I, 
2 2 2 . 
H+ H,He- (HH) H,H.-H.H,  , 
一 一 -= 一 一 ”一 一 -一 一 = 一 一 一 一 一 = 一 25C， 
2i 2i 2i 


这 表明 Re(\(H)) = A(2C?— D), Im(A(A)) = A(-2iC'S). 因此 , (12.6.13) 和 (12.6.14) 
成 立 . . 
不 把 这 些 半 角 的 正 余弦 值 看 成 n xn 矩阵 的 特征 值 , 而 是 更 有 效 地 把 它们 视 为 
m x m 矩阵 的 奇异 值 . 这 使 我 们 双 对 角 化 C ALS. 完成 此 任务 的 正 交 等 价 变换 基 
于 H, 和 He 的 Schur 2H. (12.6.11) 定义 的 2 x 2 反射 矩阵 R(9) 的 特征 值 为 1 
和 —1, 它 的 Schur 分 解 如 下 : 


R(ó/2)R()R(9/2) = | . ° | 
因此 , 车 


Q, = diag(R(¢:/2), R(¢3/2), Uta R($¢n-1/2)), 
Q, = diag(1, R(¢2/2), R($4/2), ++ , R(n-2/2), -1), 
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RJM (12.6.9) 和 (12.6.10) A H, Al He fi FA Schur 分 解 : 
Q,H,Q, =D. = diag(1, —1,1, -1,--- jh -1) 


Q.H.Q, = D. = diag(1, 1,—1, 1, -lee 2v -1l, -1). 


和 矩阵 


C = Q,CQ, = 2Q,(H. + HQ, = 5(D4(Q,Q.) + (9,Q.)D.), 


S? = Q,8Q, = 5Q,(Ho- He)Q, = 5(Do(@.@.) - (Q,Q.) D.) 


963 


4535 C 和 8 有 相同 的 奇异 值 . 下 面 分 析 它 们 的 结构 .首先 , 注意 到 RQ. 呈 


带 状 : 


QQ。 = 


oo ooox x 


0 


(n = 8 的 例子 充分 说 明了 从 这 一 点 得 出 的 主要 思想 ). 


oo oc o0 X X X X 


oo Oo X X X X 


0 


COX X X x Oo oO 


0 


Oo Oo XK X X X oco 


X X X X OO Oo O&O 


符号 相反 , 则 CO) = o, 由 此 可 知 CO 有 如 下 形状 : 


cO =Q,CQ, = 


e 


类 似 地 , Æ Doli i) 与 D.(j,j) 的 符号 相同 , 则 sl? 


SU = Q,SQ. = 


0 


q 
N 


oo cocco 


0 
da 


oo oc o 


fi 


0 


da 


eg 


0 
0 
0 
0 
x 
x 
x 
x 


xX x coooocc 


如 果 Doli, i) 5 Delij j) 的 


ar 
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变换 这 些 矩 阵 的 行 和 列 就 可 得 到 双 对 角形 式 ; 


Bo=C™"((1 3 5 7 2 4 6 8S 2 4 6 3 57 8) 


do 
Ü 
0 
0 
0 
0 
0 
0 


$95 o0oo0|oooo 


oolooo o 


0 
0 x" 

0 0 d f 
0 


o 
e 
中 
Sn 


不 难 证 明 元 素 wb de 和 f 均 非 零 . 这 说 明 Bc(1:m,1:m) 8I Bs(1:m,1: m) 
的 奇异 值 均 不 相同 . 因为 


a(C) = e(Bc) = (cos(01/2), cos(61/2),  - - , COS(Om/2), COS(Om/2)}, 
a(S) = o(Bs) = (sin(61/2), sin(01/2), - - - , sin(65,/2), sin(0m /2)}, 
我 们 证 实 了 (12.6.7) 和 (12.6.8) 
习 题 
12.6.1 已 知 A c R"*^, 考虑 在 约束 : 


CTr=0, Ce€R"?, n2p 
D'y=0, DcR"**, m2q 


TXR(s,y) = m. (y € R",z € R^) 的 平稳 点 问题. 试 说 明 怎 样 通过 先 计算 C AD 
的 完全 正 交 分 解 再 计算 4 的 变换 矩阵 之 子 矩阵 的 SVD 来 求解 此 问题 
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12.6.2 VW A € R?*^, B € R?*", 假设 rank(A) = n, rank(B) = p. 应 用 本 节 的 方法 ， 
说 明 如 何 求解 问题 : ; 
oe 
_ llb- Acl | -1 


~ 2 


Bao |zli-1 ~ Ba-o Il z 
—1 

证 明 这 是 一 个 约束 TLS 问题 . 它 总 有 解 吗 ? 

12.60. W Ac R” 对称 , B c R?” 的 秩 为 p,d c R?， 说明 如 何在 lela — 1 和 
Bz = d 的 约束 下 求 极 小 化 cl Ac 的 解 . 指出 何 时 解 不 存在 . 

12.6.4 UL 4 € R” 是 大 型 稀疏 对 称 和 矩阵 ，C oR”? HEARN. 怎样 用 
Lanczos 方法 求 函 数 r(x) = {zTAz)/(zTz) EWR CTs = 0 下 的 平稳 点 . 这 里 假设 已 有 称 
Wi QR 分解 C = QR. 


2 
2 


0 Ai 0 0 
A, 0 
0 0 0 As 
Az 0 0 0 


AiA2A3 A4 的 特征 值 和 特征 向 量 之 间 的 关系 . 假设 4 中 的 对 角 芯 都 是 方 阵 ， 

12.6.6 W: 车 (12.6.2) 成 立 , 则 ACHP = AM — AA FAR) 从 右边 单调 地 收敛 
于 Amin(T). 

12.6.7 ”回想 4.7 节 的 内 容 , 我 们 知 可 以 在 O(n?) 个 flop 之 内 计算 对 称 正定 的 Toeplitz 
矩阵 的 逆 . 利用 该 事实 , 找 一 个 基于 ITO co 和 [IG foo 的 (12.6.5) 的 初始 区 间 . 

12.6.8 ABRE A € R'X"J& dr xpi, 如 果 它 是 对 称 和 反 向 对 称 的 , 即 A= EAEn, 


eo 
e 


12.6.5 ” 试 找 出 矩阵 A = 的 特征 值 和 特征 向 量 与 矩阵 A = 


(LEE | I Th IL 


Q'AQ- | Au c Ai Es 0 | 


0 Ai — Ai En 
其 中 Ah11 = A0:m,1:m), Aia = A(Y: m,m 1: n). 证 明 : Bon = 2m WP DRY 
Schur 分 解 可 只 用 对 称 上 矩阵 的 Schur 分 解 所 需 flop 数 的 3 就 可 实现 . 在 两 种 情况 下 都 假定 可 
用 QR 算法. 235 n= 2m 二 1 时 , 情况 又 如 何 ? 

12.6.9 d F,G eR"x" 是 对 称 的 , BQ = Bs Ol 是 一 xn EXER. 说 明 如 
何 计算 Q 和 使 得 

F(Q. P) = (QT FQ,) + tr(Q2 GQ.) 

极 大 化 . (E7: tr(QTFQ,) + tr(Q7GQ,) = (QT (F ~ G)Q1) + tr(G).) 

12.6.10 HA cR” 给 定 , 考虑 在 所 有 秩 不 超过 r 的 对 称 半 正 定 矩阵 的 集合 上 极 小 化 

min{k,r} . A -- AT 

\|A— Slr. wH.: S= Y Aiq;07 是 这 个 问题 的 解 , 其 中 ~z = Qdiag(à1, A2,*…… 


i=l 


Xn)QT 是 A 的 对 称 部 分 的 Schur 28, Q = [qi,'… ,dm] B 
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AL 之 2 An > 0B Aki Bes Àn. 


12.6.11 ”对 一 般 的 nS), 证 明 H 相似 于 HH e, 矩阵 如 12.6.4 节 中 所 定义 ， 
12.6.12 ”证 明 在 12.6.4 WPA Bo(1:m,1:m) M Bs(1:m,1:m) Zo 
角 元 和 次 对 角 元 非 零 . 并 确定 它们 的 值 . 


A G 


12.643 ÆW M = Hn 
F 


Se | 的 2n x 2n KERA Hamilton 2M, 4$ A € 


R^*" 和 F,G c 了 "xm 是 对 称 的 . 等 价 地 , 如 果 定 义 正 交 矩 阵 
ace 
-I, 0 
则 M c R2"x2n 是 Hamilton ÆSER ITMJ = —MT. (a) 证 明 Hamilton 和 矩阵 的 特 
征 值 由 一 负 一 正 的 对 组 成 ，(b) 矩阵 S c R?77^ Bese, d: JTSJ = -S 7. 证 明 : HS 
EWER, M 是 Hamilton 矩阵 , 则 SC MSS 也 是 Hamilton EB. (c) 证 明 : 车 Q eR?" 
是 正 交 的 , 且 是 辛 矩阵 , 则 Q = | M M | 这 里 QTQ, + Q7Q; = In H QIQ 是 对 称 


1 


的 . 因此 , 一 个 形 如 Gl, it n, 0) 的 Givens 旋转 矩阵 是 正 交 的 辛 矩阵 , n x n Householder 4 
” 阵 的 直 和 也 是 如 此 . (d) 说 明 如 何 计算 一 个 正 交 辛 年 阵 U 使 得 

H R 

D -HT |’ 

其 中 H 是 上 Hessenberg 和 矩阵, D AXE. 


U' MU = | 
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